[论文解读] Joint Learning of Graph Representation and Node Features in Graph Convolutional Neural Networks

Jiaxiang Tang, Wei Hu+2 more|arXiv (Cornell University)|Sep 11, 2019

Advanced Graph Neural Networks参考文献 28被引用 6

一句话总结

该论文提出联合学习图卷积网络（JLGCN），通过低秩分解优化马氏距离度量，动态地在图卷积网络中同时学习图结构与节点特征。该方法在引文网络和点云数据上相较于固定图基线模型，显著提升了准确率与鲁棒性，在参数量增加极少的情况下实现了最先进性能。

ABSTRACT

Graph Convolutional Neural Networks (GCNNs) extend classical CNNs to graph data domain, such as brain networks, social networks and 3D point clouds. It is critical to identify an appropriate graph for the subsequent graph convolution. Existing methods manually construct or learn one fixed graph for all the layers of a GCNN. In order to adapt to the underlying structure of node features in different layers, we propose dynamic learning of graphs and node features jointly in GCNNs. In particular, we cast the graph optimization problem as distance metric learning to capture pairwise similarities of features in each layer. We deploy the Mahalanobis distance metric and further decompose the metric matrix into a low-dimensional matrix, which converts graph learning to the optimization of a low-dimensional matrix for efficient implementation. Extensive experiments on point clouds and citation network datasets demonstrate the superiority of the proposed method in terms of both accuracies and robustness.

研究动机与目标

• 解决图卷积网络中固定、静态图结构无法适应各层间节点特征结构演化的问题。
• 实现动态、逐层的图优化，以数据驱动方式反映特征间的成对相似性。
• 在真实图结构不可用或次优的半监督学习与点云分类任务中，提升图卷积网络的性能。
• 通过将马氏度量矩阵分解为低维形式，降低计算复杂度，实现高效优化。
• 在不改变标准图卷积网络架构的前提下，集成联合图与特征学习机制。

提出的方法

• 该方法将图学习建模为马氏距离度量学习，利用马氏距离捕捉特征相关性与成对相似性。
• 将马氏度量矩阵 M 分解为 R·R^T 的形式，其中 R 为低维矩阵（S << K），实现高效优化。
• 通过优化 R 最小化图拉普拉斯正则化项（GLR），在学习到的图上强制实现特征平滑性。
• 损失函数结合 GLR 与交叉熵，端到端联合优化图结构与节点特征。
• 将前一层学习到的图与当前层图拼接，以支持多层次特征学习。
• 该框架与标准 GCN 架构兼容，并采用一阶谱近似实现高效消息传递。

实验结果

研究问题

• RQ1 与固定图相比，动态、逐层图学习是否能提升图卷积网络在半监督节点分类任务中的性能？
• RQ2 图结构与节点特征的联合优化在处理噪声或稀疏数据（如低密度点云）时，是否能提升模型鲁棒性？
• RQ3 基于低秩分解的马氏距离度量学习是否能有效捕捉图结构数据中的潜在特征关系？
• RQ4 在参数量增加极少的前提下，该方法是否在点云分类任务中优于经验 k-NN 图与最先进 GCN 变体？
• RQ5 通过残差图连接实现的多层级图学习，在多大程度上增强了 GCN 各层之间的特征表示能力？

主要发现

• 在 Cora 引文网络上，JLGCN 实现了 87.2% 的平均类别准确率与 90.8% 的总体准确率，较 GCN 基线（84.2% 与 88.7%）提升超过 2.5 个百分点。
• 在 ModelNet40 点云分类任务中，JLGCN 实现了 90.8% 的总体准确率，模型大小仅为 13MB，虽参数量更少，但仍超越基线 GCN（88.7%）并达到最先进方法水平。
• 该方法在点云稀疏性方面表现出卓越鲁棒性，在 90% 点云丢弃率下仍保持高准确率，显著优于 GCN 基线。
• 可视化结果表明，学习到的图结构密集且带权，深层网络中自连接显著增加，表明网络深度间具有动态适应能力。
• 在基于谱图卷积网络的方法中，JLGCN 在 ModelNet40 上取得了最佳性能，凸显其在图结构学习方面的有效性。
• 消融实验验证，通过 GLR 与交叉熵联合优化图与特征，相比独立或固定图学习，能实现更优泛化性能。