[论文解读] Distributionally Robust Semi-Supervised Learning Over Graphs

Alireza Sadeghi, Meng Ma+2 more|arXiv (Cornell University)|Oct 20, 2021

Domain Adaptation and Few-Shot Learning参考文献 19被引用 5

一句话总结

本论文提出了一种基于图神经网络（GNNs）的分布鲁棒半监督学习框架，用于图结构化数据，利用Wasserstein距离建模分布不确定性。通过强对偶性将鲁棒优化问题转化为等价的无约束形式，并采用极小-极大训练过程求解，该方法在分布偏移和对抗性扰动下实现了优越的泛化性能，在真实世界电网数据上优于基线模型。

ABSTRACT

Semi-supervised learning (SSL) over graph-structured data emerges in many network science applications. To efficiently manage learning over graphs, variants of graph neural networks (GNNs) have been developed recently. By succinctly encoding local graph structures and features of nodes, state-of-the-art GNNs can scale linearly with the size of graph. Despite their success in practice, most of existing methods are unable to handle graphs with uncertain nodal attributes. Specifically whenever mismatches between training and testing data distribution exists, these models fail in practice. Challenges also arise due to distributional uncertainties associated with data acquired by noisy measurements. In this context, a distributionally robust learning framework is developed, where the objective is to train models that exhibit quantifiable robustness against perturbations. The data distribution is considered unknown, but lies within a Wasserstein ball centered around empirical data distribution. A robust model is obtained by minimizing the worst expected loss over this ball. However, solving the emerging functional optimization problem is challenging, if not impossible. Advocating a strong duality condition, we develop a principled method that renders the problem tractable and efficiently solvable. Experiments assess the performance of the proposed method.

研究动机与目标

• 解决现有GNN在半监督图学习中对分布偏移和对抗性扰动的脆弱性。
• 开发一种原则性的鲁棒学习框架，确保在未知但有界的分布偏差下模型性能稳定。
• 处理由噪声测量或训练与测试数据分布不匹配引起的节点特征不确定性。
• 通过将难以处理的泛函优化问题转化为可处理的无约束形式，实现鲁棒GNN的可扩展且高效的训练。
• 在正常和输入受损条件下，于真实世界图结构化数据上展示所提方法的有效性。

提出的方法

• 通过在经验数据分布为中心的Wasserstein球上最小化最坏情况下的期望损失，构建分布鲁棒优化问题。
• 应用强对偶性将极小-极大泛函优化转化为等价的无约束问题，从而实现高效优化。
• 使用参数化GNN模型 $ f(\mathbf{X}; \bm{\theta}, \mathbf{W}) $ 编码图结构和节点特征，替代显式的拉普拉斯正则化。
• 引入与Wasserstein约束相关的对偶变量 $ \gamma $，其中 $ \gamma \in \Gamma $ 确保内层最大化问题具有唯一性与强严格凹性。
• 采用两步训练过程：首先，通过在 $ \bm{\xi} $ 上最大化一个代理函数 $ \psi $ 来扰动输入特征 $ \mathbf{X}_s $；然后，通过梯度下降更新GNN权重 $ \bm{\theta} $。
• 使用强凸运输成本 $ c(\mathbf{X}, \bm{\xi}) = \|\mathbf{X} - \bm{\xi}\|_F^2 $，确保内层最大化问题严格凹且可解。

实验结果

研究问题

• RQ1 如何使图神经网络在图的半监督学习中对分布偏移具备鲁棒性？
• RQ2 对抗性扰动对GNN性能有何影响，如何形式化量化并确保鲁棒性？
• RQ3 能否通过对偶理论将分布鲁棒优化框架有效转化为GNN的可处理学习问题？
• RQ4 与标准GNN和基线方法相比，所提方法在噪声或受损输入特征下的表现如何？
• RQ5 Wasserstein半径 $ \rho $ 在控制鲁棒性与性能之间的权衡中起什么作用？

主要发现

• 在正常数据条件下，所提出的鲁棒GNN在IEEE 118节点电网系统上对电压幅值的估计性能优于近线性网络、原始前馈网络（FNNs）和更深的FNNs。
• 在满足最坏情况扰动约束 $ P \in \mathcal{P} $ 的受损测试输入上，鲁棒GNN的估计精度显著优于所有基线模型。
• 该方法在真实世界电网数据的回归任务中达到最先进性能，展现出对分布偏移和特征扰动的强韧性。
• 采用强凸运输成本确保内层最大化问题具有唯一且可微的解，从而实现稳定且收敛的训练。
• 通过网格搜索进行超参数调优表明，$ \rho = 10 $ 在不牺牲干净数据性能的前提下实现了强鲁棒性。
• 实证结果证实，该鲁棒模型在分布不确定性下泛化能力更强，表现为正常和扰动测试场景下性能的一致性。