[论文解读] Learning Discrete Structures for Graph Neural Networks

Luca Franceschi, Mathias Niepert+2 more|arXiv (Cornell University)|Mar 28, 2019

Advanced Graph Neural Networks参考文献 57被引用 146

一句话总结

论文提出LDS，一个双层框架，联合学习稀疏、概率图生成器和GCN参数，使在图缺失或嘈杂时也能进行基于图的学习。它使用基于超梯度的训练并通过直通估计器来优化离散边变量。

ABSTRACT

Graph neural networks (GNNs) are a popular class of machine learning models whose major advantage is their ability to incorporate a sparse and discrete dependency structure between data points. Unfortunately, GNNs can only be used when such a graph-structure is available. In practice, however, real-world graphs are often noisy and incomplete or might not be available at all. With this work, we propose to jointly learn the graph structure and the parameters of graph convolutional networks (GCNs) by approximately solving a bilevel program that learns a discrete probability distribution on the edges of the graph. This allows one to apply GCNs not only in scenarios where the given graph is incomplete or corrupted but also in those where a graph is not available. We conduct a series of experiments that analyze the behavior of the proposed method and demonstrate that it outperforms related methods by a significant margin.

研究动机与目标

• 在图缺失、不完整或嘈杂时，激励学习图结构与GCN参数共同学习。
• 构建一个双层优化框架，其中外部问题学习边概率，内部问题学习GCN权重。
• 引入一种实用算法，使用带直通估计的超梯度下降来处理离散图变量。
• 证明学到的稀疏图能优于传统的图构建方法，且模型产出有意义的边分布。

提出的方法

• 将边建模为参数 theta 的独立伯努利随机变量，并采样图 A ~ Ber(theta) 以形成图的分布。
• 构建双层目标：外部目标最小化验证损失 F(w_theta, A) ，其中 w_theta = argmin_w E_A~Ber(theta)[L(w, A)]，内部目标在采样图上最小化训练损失。
• 通过对 w 的 SGD 近似内部和外部目标，令 A_t ~ Ber(theta)，并使用截断的反向传播穿越时间来计算基于直通的超梯度 theta。
• 使用直通估计器近似离散边的梯度，得到带偏但在实践中有效的超梯度。
• 通过对 S 个采样图进行Monte Carlo平均来估计模型的最终预测：f_w^{exp}(X) ≈ E_A[f_w(X, A)]，无偏估计 hat{f}_w(X) = (1/S) sum_i f_w(X, A_i)。
• 用一个 kNN 图初始化 theta（theta 初始化为 0/1 以反映已知边），并在邻接矩阵的凸壳内优化 theta。

实验结果

研究问题

• RQ1 当图缺失、损坏时，学习的概率图生成器能否与GCN参数联合优化以提升半监督节点分类？
• RQ2 学习到的边分布是否倾向于在同一类别节点之间的边给予更高概率，得到的图是否稀疏但信息丰富？
• RQ3 在实践中，带 STE 超梯度的双层、梯度优化对离散图结构是否有效？
• RQ4 在不同程度的图不完整性下，LDS 相较经典 GCN 和其他基线的表现如何？

主要发现

• LDS 与普通 GCN 相比具有竞争力或更优的准确性，尤其当边被移除时，在某些设置中准确率提升可达若干百分点。
• 学习到的图仍然稀疏（通常远少于完整图）但更具信息量，增加同类节点对的边概率。
• 在若干数据集上，LDS 优于基于 kNN 的图方法，甚至在密集邻接学习时也胜过，尤其当存在真实图结构时。
• 超越交替，使用截断的 STE 超梯度（tau > 0）比单步或纯交替优化表现更好。
• 学到的边概率揭示有意义的结构，同类节点连接的边具有更高概率，且对真实邻接边有部分恢复。