[论文解读] Bootstrapped Graph Diffusions: Exposing the Power of Nonlinearity

Eliav Buchnik, Edith Cohen|arXiv (Cornell University)|Mar 7, 2017

Advanced Graph Neural Networks参考文献 26被引用 8

一句话总结

本文提出了一种自训练框架——自举图扩散（bootstrapped graph diffusions），通过在经典线性图扩散（如标签传播）中引入非线性，实现半监督学习。通过迭代优化预测结果并重新训练，该方法在引文网络上取得了最先进性能，超越了GCNs，同时保持了线性方法的可扩展性。

ABSTRACT

Graph-based semi-supervised learning (SSL) algorithms predict labels for all nodes based on provided labels of a small set of seed nodes. Classic methods capture the graph structure through some underlying diffusion process that propagates through the graph edges. Spectral diffusion, which includes personalized page rank and label propagation, propagates through random walks. Social diffusion propagates through shortest paths. A common ground to these diffusions is their {\em linearity}, which does not distinguish between contributions of few "strong" relations and many "weak" relations. Recently, non-linear methods such as node embeddings and graph convolutional networks (GCN) demonstrated a large gain in quality for SSL tasks. These methods introduce multiple components and greatly vary on how the graph structure, seed label information, and other features are used. We aim here to study the contribution of non-linearity, as an isolated ingredient, to the performance gain. To do so, we place classic linear graph diffusions in a self-training framework. Surprisingly, we observe that SSL using the resulting {\em bootstrapped diffusions} not only significantly improves over the respective non-bootstrapped baselines but also outperform state-of-the-art non-linear SSL methods. Moreover, since the self-training wrapper retains the scalability of the base method, we obtain both higher quality and better scalability.

研究动机与目标

• 通过与GCNs等复杂非线性模型对比，隔离并评估非线性在基于图的半监督学习（SSL）中的影响。
• 探究是否可通过引入非线性诱导包装器，使简单且可扩展的线性图扩散方法实现更优性能。
• 证明自训练（自举）能显著提升线性扩散方法的性能，同时不牺牲其计算效率。
• 提供实证证据表明，通过自举应用的非线性是SSL性能提升的关键驱动因素，而非特征工程或模型复杂度。

提出的方法

• 通过迭代生成未标记节点的伪标签并基于扩展的标记集重新训练，为经典线性图扩散（如标签传播、特征传播）应用自训练包装器。
• 使用归一化的图拉普拉斯矩阵进行扩散，以确保稳定性并改善收敛性，尤其在高维或稀疏图中。
• 通过特征传播将节点特征整合到扩散过程中，即使用与标签相同的扩散核将节点特征在图上传播。
• 在保持原始线性扩散机制（如雅可比迭代）的同时，通过迭代重加权预测结果引入非线性。
• 在自举过程中采用置信度阈值策略过滤低置信度预测，减少噪声累积。
• 在基准引文网络（Cora、Citeseer、PubMed）上，使用固定和随机划分的训练/验证集评估性能。

实验结果

研究问题

• RQ1 通过自训练引入非线性是否能显著提升经典线性图扩散在半监督学习中的性能？
• RQ2 自举的线性扩散方法是否能在标准引文网络基准上超越最先进的非线性模型（如GCNs和Planetoid）？
• RQ3 扩散方法的选择（如归一化与非归一化拉普拉斯矩阵）如何影响自举框架的性能？
• RQ4 通过特征传播整合节点特征是否能进一步提升自举扩散的性能？
• RQ5 在自举过程中，基础线性方法的可扩展性在多大程度上得以保持？

主要发现

• 自举的归一化拉普拉斯标签传播在Cora上达到72.8%的准确率，在Citeseer上达到53.6%，优于原始方法，并与或超过GCN的性能。
• 在Cora上，自举的归一化特征传播方法达到82.9%的准确率，超过原始方法的82.4%，并优于相同基准下的GCN（81.5%）。
• 在PubMed上，自举的归一化拉普拉斯标签传播达到78.8%的准确率，略低于GCN的79.0%，但显著优于非自举基线方法。
• 使用特征扩散（将节点特征在图上传播）相比仅使用原始特征，性能提升12%（在三个数据集上的平均值）。
• 自举在Citeseer和Cora上持续提升性能，准确率提升最高达10%，而在PubMed上提升微弱，因基线方法已接近最优。
• 自训练包装器保持了基础线性方法的可扩展性，使大规模图的高效训练成为可能，无需深度神经网络的计算负担。