[论文解读] DGCNN: Disordered Graph Convolutional Neural Network Based on the Gaussian Mixture Model

Bo Wu, Yang Liu+2 more|arXiv (Cornell University)|Dec 10, 2017

Advanced Graph Neural Networks参考文献 14被引用 5

一句话总结

本文提出DGCNN，一种无序图卷积神经网络，利用高斯混合模型（GMM）实现对不规则图邻域的端到端学习，无需图正则化。通过从GMM中采样卷积核参数，该模型可动态适应大小可变且无序的节点邻域，减少信息损失，并在图分类和检索任务中超越现有最先进方法。

ABSTRACT

Convolutional neural networks (CNNs) can be applied to graph similarity matching, in which case they are called graph CNNs. Graph CNNs are attracting increasing attention due to their effectiveness and efficiency. However, the existing convolution approaches focus only on regular data forms and require the transfer of the graph or key node neighborhoods of the graph into the same fixed form. During this transfer process, structural information of the graph can be lost, and some redundant information can be incorporated. To overcome this problem, we propose the disordered graph convolutional neural network (DGCNN) based on the mixed Gaussian model, which extends the CNN by adding a preprocessing layer called the disordered graph convolutional layer (DGCL). The DGCL uses a mixed Gaussian function to realize the mapping between the convolution kernel and the nodes in the neighborhood of the graph. The output of the DGCL is the input of the CNN. We further implement a backward-propagation optimization process of the convolutional layer by which we incorporate the feature-learning model of the irregular node neighborhood structure into the network. Thereafter, the optimization of the convolution kernel becomes part of the neural network learning process. The DGCNN can accept arbitrary scaled and disordered neighborhood graph structures as the receptive fields of CNNs, which reduces information loss during graph transformation. Finally, we perform experiments on multiple standard graph datasets. The results show that the proposed method outperforms the state-of-the-art methods in graph classification and retrieval.

研究动机与目标

• 解决传统CNN在处理具有可变大小和无序邻域的不规则图结构时的局限性。
• 消除由图正则化技术（如零填充或截断）引起的信息损失。
• 实现在不规则节点邻域上图卷积核的端到端反向传播优化。
• 开发一种独立于固定图表示的参数学习机制。
• 在标准基准数据集上提升图分类和相似性匹配性能。

提出的方法

• 提出一种无序图卷积层（DGCL），将邻域节点映射到基于GMM的连续参数空间，而非固定大小的表示。
• 使用混合高斯函数建模卷积核与不规则节点邻域之间的关系，将离散的参数学习转化为连续的参数采样。
• 支持通过GMM采样过程的反向传播，使卷积核参数能与神经网络其余部分联合优化。
• 将GMM参数视为可学习权重，使模型能自适应地为每种邻域结构学习最优核配置。
• 将任意规模和无序的图结构作为感受野处理，避免填充或截断的需要。
• 将DGCL作为预处理层集成在标准CNN层之前，使标准CNN操作可应用于转换后的特征。

实验结果

研究问题

• RQ1 能否设计一种图卷积网络，直接处理不规则、无序且大小可变的节点邻域，而无需正则化？
• RQ2 与固定大小的邻域表示相比，基于GMM的参数采样在不规则图结构上的特征学习方面有何改进？
• RQ3 所提出的DGCNN在图分类和检索任务中相较于现有图CNN和图核方法的性能提升程度如何？
• RQ4 不同图数据集中GMM的最优高斯分量数量是多少？
• RQ5 DGCNN的计算效率与现有图卷积方法相比如何？

主要发现

• DGCNN在多个标准图数据集（包括PTC、AIDS、PROTEIN、D&D和COLLAB）上达到最先进性能，优于现有g-CNN和图核方法。
• 对于PTC数据集，分类精度随高斯分量数从5增至15显著提升，并在m=15后趋于稳定，此时性能最优。
• 对于AIDS数据集，最优分量数为m=20，此时精度达到峰值并保持稳定。
• 对于PROTEIN数据集，最佳性能出现在m=15，精度在该点后趋于稳定。
• 对于更大的COLLAB数据集，m=25时分类准确率最高，表明复杂的大规模图需要更多分量。
• DGCNN的运行时间与其它最先进方法相当，虽因GMM参数采样略有增加，但仍处于同一数量级（例如，在COLLAB上比PSCH慢47秒，但对实际应用仍具高效性）。