[论文解读] Iterative Deep Graph Learning for Graph Neural Networks: Better and Robust Node Embeddings

Yu Chen, Lingfei Wu+1 more|arXiv (Cornell University)|Jun 21, 2020

Advanced Graph Neural Networks参考文献 65被引用 201

一句话总结

IDGL 共同且迭代地学习图结构与节点嵌入，优化下游任务，具有可扩展的 IDGL-Anch 变体；它提高对对抗性图的鲁棒性，并支持传导式和归纳学习。

ABSTRACT

In this paper, we propose an end-to-end graph learning framework, namely Iterative Deep Graph Learning (IDGL), for jointly and iteratively learning graph structure and graph embedding. The key rationale of IDGL is to learn a better graph structure based on better node embeddings, and vice versa (i.e., better node embeddings based on a better graph structure). Our iterative method dynamically stops when the learned graph structure approaches close enough to the graph optimized for the downstream prediction task. In addition, we cast the graph learning problem as a similarity metric learning problem and leverage adaptive graph regularization for controlling the quality of the learned graph. Finally, combining the anchor-based approximation technique, we further propose a scalable version of IDGL, namely IDGL-Anch, which significantly reduces the time and space complexity of IDGL without compromising the performance. Our extensive experiments on nine benchmarks show that our proposed IDGL models can consistently outperform or match the state-of-the-art baselines. Furthermore, IDGL can be more robust to adversarial graphs and cope with both transductive and inductive learning.

研究动机与目标

• 动机并解决因噪声或不完整性导致的下游任务输入图固定性所致的次优性问题。
• 开发一个端到端框架，在学习图结构与节点嵌入之间交替，以提升预测性能。
• 通过自适应图正则化实现归纳学习以及对对抗性或嘈杂图的鲁棒性。

提出的方法

• 将图学习表述为相似性度量学习，使用带有多头的可学习加权余弦相似度。
• 引入 epsilon-邻域稀疏化，从相似度得分获得一个非负的稀疏邻接矩阵。
• 提出一种基于锚点的可扩展度量学习变体（IDGL-Anch），将时间/空间复杂度从关于节点数的平方降至线性的。
• 通过线性组合将学习到的图与初始图结合，构成用于 GNN 的最终邻接矩阵（Eq. 3）。
• 使用两层 GCN 作为下游预测器，通过联合优化任务损失和图正则化损失（混合损失）来学习参数。
• 采用混合消息传播方案，将节点到锚点和锚点到节点的传递分解以降低计算成本（Eq. 7）。

实验结果

研究问题

• RQ1 一个端到端的迭代过程在基于改进嵌入的基础上细化图拓扑，是否能够产生更优的下游预测？
• RQ2 将学习得到的图结构与初始图结合是否能在传导式和归纳式设置下提升鲁棒性和预测质量？
• RQ3 在大规模图上，是否可通过可扩展的锚点变体在保持性能的同时降低时间和内存成本？
• RQ4 是否学习带有多头加权和稀疏化的相似性度量对鲁棒的图构建有效？
• RQ5 将预测损失与图正则化损失联合优化与之前的双层或固定图方法相比有何优势？

主要发现

• IDGL 在九项基准测试上持续优于或匹配最先进的基线，涵盖有图可用和无图设置。
• IDGL-Anch 以显著提升的可扩展性（节点数线性复杂度）实现可比较或更好的结果。
• 迭代学习过程实际收敛快，并提供一个可根据任务自适应的动态停止标准。
• IDGL 对对抗性图具有鲁棒性，在随机添加或删除边时保持竞争力。
• 将任务损失与图正则化损失联合优化比仅使用任务损失或仅使用图正则化的表现更好（消融结果）。
• 在归纳式设置下，IDGL 与 IDGL-Anch 的性能优于依赖固定图或无法处理归纳场景的基线。