[论文解读] Deep Iterative and Adaptive Learning for Graph Neural Networks

Yu Chen, Lingfei Wu+1 more|arXiv (Cornell University)|Dec 17, 2019

Advanced Graph Neural Networks参考文献 36被引用 42

一句话总结

tldr: DIAL-GNN 通过端到端框架，基于相似性度量和图平滑正则化，迭代地基于学习到的图 refine 学习到的图，从而联合学习图结构和 GNN 参数，适用于传导和归纳设置。

ABSTRACT

In this paper, we propose an end-to-end graph learning framework, namely Deep Iterative and Adaptive Learning for Graph Neural Networks (DIAL-GNN), for jointly learning the graph structure and graph embeddings simultaneously. We first cast the graph structure learning problem as a similarity metric learning problem and leverage an adapted graph regularization for controlling smoothness, connectivity and sparsity of the generated graph. We further propose a novel iterative method for searching for a hidden graph structure that augments the initial graph structure. Our iterative method dynamically stops when the learned graph structure approaches close enough to the optimal graph. Our extensive experiments demonstrate that the proposed DIAL-GNN model can consistently outperform or match state-of-the-art baselines in terms of both downstream task performance and computational time. The proposed approach can cope with both transductive learning and inductive learning.

研究动机与目标

• 在图不可用或噪声较大时，激励自动图结构学习。
• 提出一个端到端框架，联合学习图结构和 GNN 参数。
• 将图学习视为相似性度量学习并结合图正则化，以控制平滑性和稀疏性。
• 开发一种迭代方法，在任务近似最佳时动态停止。

提出的方法

• 设计一个可学习的多头余弦相似性，在 m 个视角之间构建节点特征的初始对称相似性 S。
• 通过在 S 上应用 epsilon 邻域掩码来提取稀疏的邻接矩阵 A，以减少不必要的连接。
• 使用 Dirichlet 能量项对学习的图进行正则化以强制平滑性，以及一个稀疏/连通性项 f(A)，以抑制图的断开。
• 形成一个耦合图学习与下游预测任务的联合损失 L = L_pred + L_G，并使用两层 GCN 进行嵌入。
• 通过在 A-tilde = lambda L0 + (1-lambda) A/row-sum(A) 中对学习的邻接与初始图 A0 进行平衡混合，以保留有用的先验结构。
• 迭代地从 A-tilde 更新嵌入 Z，并利用嵌入来细化 A，在收敛条件满足时动态停止（或达到最大迭代次数）。
• 可选地将原始特征基图与嵌入基图融合为 A-bar = eta A-tilde + (1-eta) A-tilde(0)，以同时利用两者来源。

实验结果

研究问题

• RQ1 在固定图或单独学习的图相比，联合学习的图结构是否能提升 GNN 任务性能？
• RQ2 迭代、具备动态停止的图 refinement 方法对嘈杂或不完整的初始图是否具有鲁棒性？
• RQ3 将初始图结构与学习得到的调整相结合对传导和归纳学习设置有何影响？
• RQ4 迭代图学习相对于固定图 GNN 基线的计算权衡如何？
• RQ5 在边删除或插入的情况下，学习得到的图相较于基线 GCN 的表现如何？

主要发现

• DIAL-GNN 在传导和归纳设置下，多个数据集上始终与最先进基线持平或超过之。
• 当未提供图时，DIAL-GNN 的性能优于 kNN-GCN，展示了联合图学习与 GNN 参数的价值。
• 消融显示若去除迭代学习组件，性能显著下降，强调迭代图 refinement 与联合优化的重要性。
• 该方法对嘈杂图保持鲁棒，在边的增加或删除时的性能比 GCN 更好。