[论文解读] Deep Convolutional Networks on Graph-Structured Data

Mikael Henaff, Joan Bruna+1 more|arXiv (Cornell University)|Jun 16, 2015

Advanced Graph Neural Networks参考文献 14被引用 1,346

一句话总结

该论文提出了一种深度学习框架，通过联合学习图结构与谱卷积，将卷积网络扩展至一般图结构数据，在参数远少于大型全连接网络的情况下实现了相当的性能。该框架引入了无监督和有监督的图结构估计方法，在文本分类和生物信息学任务中取得了最先进结果，同时在ImageNet上通过谱卷积网络实现与卷积网络相当的性能。

ABSTRACT

Deep Learning's recent successes have mostly relied on Convolutional Networks, which exploit fundamental statistical properties of images, sounds and video data: the local stationarity and multi-scale compositional structure, that allows expressing long range interactions in terms of shorter, localized interactions. However, there exist other important examples, such as text documents or bioinformatic data, that may lack some or all of these strong statistical regularities. In this paper we consider the general question of how to construct deep architectures with small learning complexity on general non-Euclidean domains, which are typically unknown and need to be estimated from the data. In particular, we develop an extension of Spectral Networks which incorporates a Graph Estimation procedure, that we test on large-scale classification problems, matching or improving over Dropout Networks with far less parameters to estimate.

研究动机与目标

• 开发一种深度学习架构，将卷积网络推广至无先验图结构的非欧几里得、高维图结构数据。
• 通过在估计的图上学习局部化、权重重用的滤波器，降低模型复杂度，避免全连接层带来的$O(N^2)$参数量。
• 探究图结构估计后接谱卷积是否能优于或匹配使用Dropout正则化的标准全连接网络。
• 评估图结构估计质量对模型性能的影响，特别是在低数据量或复杂数据场景（如文本和生物信息学）下的表现。
• 为缺乏固有网格结构的图基深度学习研究建立基线基准。

提出的方法

• 提出一种谱卷积网络框架，利用图拉普拉斯矩阵作为平移不变算子，将卷积推广至图结构，实现局部化、权重重用的滤波器。
• 引入无监督和有监督的图结构估计策略，从数据中推断相似性矩阵，其中监督估计方法利用低阶矩和标签信息。
• 使用图傅里叶变换在频域定义滤波器，使卷积操作成为与拉普拉斯矩阵可交换的线性变换。
• 采用样条插值学习频域滤波器，实现每特征图$O(1)$参数量的高效参数化。
• 采用两阶段训练流程：首先从数据中估计图结构（无监督或有监督），然后在估计的图上训练谱卷积网络。
• 在有监督图结构估计中采用类似自助法的机制，使网络能自我调整以实现更局部化和权重重用的特性。

实验结果

研究问题

• RQ1 在文本和基因表达数据等非欧几里得数据上，使用可学习图结构的谱卷积网络是否能有效泛化，即使在平稳性和局部性假设不成立的情况下？
• RQ2 联合学习图结构与谱滤波器是否能相比全连接网络在降低模型复杂度的同时保持或提升性能？
• RQ3 图结构估计质量（无监督 vs. 有监督）在低数据量场景下的下游分类准确率中产生何种影响？
• RQ4 谱卷积网络的性能在多大程度上依赖于图结构估计的准确性，尤其是在存在噪声或误估的情况下？
• RQ5 谱卷积网络是否能在大规模基准（如ImageNet）上匹配或超越使用Dropout正则化的标准深度网络的性能？

主要发现

• 在ImageNet数据集上，已知其2D网格结构，该谱卷积网络实现了top-1准确率为46.71%、top-5准确率为71.998%，与标准卷积网络性能相当。
• 在训练初期，谱卷积网络的收敛速度优于标准卷积网络，但两者最终收敛至相似的性能水平。
• 在文本分类与生物信息学任务中，所提方法在显著更少参数量下，性能与或优于使用Dropout训练的大规模全连接网络。
• 有监督图结构估计优于基于低阶矩的无监督估计，表明标签信息有助于提升图结构推断质量。
• 模型性能对图结构估计误差高度敏感，凸显在缺乏先验知识时，图结构估计是主要的统计瓶颈。
• 该框架表明，从数据中学习图结构可实现在高维、非结构化数据上的低复杂度、局部化与权重重用表征。