[論文レビュー] Distributionally Robust Semi-Supervised Learning Over Graphs

Alireza Sadeghi, Meng Ma+2 more|arXiv (Cornell University)|Oct 20, 2021

Domain Adaptation and Few-Shot Learning参考文献 19被引用数 5

ひとこと要約

本稿では、Wasserstein距離を用いて分布的不確実性をモデル化し、グラフニューラルネットワーク（GNN）を用いた分布的ロバストな半教師あり学習フレームワークを提案する。強い双対性を用いてロバスト最適化問題を定式化し、ミニマックス訓練手順により解くことで、分布シフトや敵対的摂動に対しても優れた一般化性能を達成し、実世界の電力網データにおいてベースラインを上回る性能を示す。

ABSTRACT

Semi-supervised learning (SSL) over graph-structured data emerges in many network science applications. To efficiently manage learning over graphs, variants of graph neural networks (GNNs) have been developed recently. By succinctly encoding local graph structures and features of nodes, state-of-the-art GNNs can scale linearly with the size of graph. Despite their success in practice, most of existing methods are unable to handle graphs with uncertain nodal attributes. Specifically whenever mismatches between training and testing data distribution exists, these models fail in practice. Challenges also arise due to distributional uncertainties associated with data acquired by noisy measurements. In this context, a distributionally robust learning framework is developed, where the objective is to train models that exhibit quantifiable robustness against perturbations. The data distribution is considered unknown, but lies within a Wasserstein ball centered around empirical data distribution. A robust model is obtained by minimizing the worst expected loss over this ball. However, solving the emerging functional optimization problem is challenging, if not impossible. Advocating a strong duality condition, we develop a principled method that renders the problem tractable and efficiently solvable. Experiments assess the performance of the proposed method.

研究の動機と目的

• 半教師ありグラフ学習における既存のGNNの分布シフトや敵対的摂動に対する脆弱性を解消すること。
• 未知だが有界な分布的ずれに対してモデル性能を保証する原理的根拠に基づくロバスト学習フレームワークの構築。
• 訓練データとテストデータの分布の不一致やノイズの多い測定によるノード特徴の不確実性の取り扱い。
• 関数最適化問題の非効率性を解消し、スケーラブルで効率的なロバストGNNの訓練を可能にするために、非制約形式に変換する手法の開発。
• 正常および汚染された入力条件下での実世界のグラフ構造データに対して、提案手法の有効性を実証すること。

提案手法

• 経験的データ分布を中心とするWassersteinボール上での最悪の期待損失を最小化することで、分布的ロバスト最適化問題を定式化。
• 強い双対性を適用し、ミニマックス関数最適化問題を等価な非制約問題に変換し、効率的な最適化を可能に。
• パラメトリックなGNNモデル $ f(\mathbf{X}; \bm{\theta}, \mathbf{W}) $ を用いてグラフ構造とノード特徴を符号化し、明示的なラプラシアン正則化を置き換え。
• Wasserstein制約に関連する双対変数 $ \gamma $ を導入し、$ \gamma \in \Gamma $ により内側の最大化が一意で強く凹になるように保証。
• 2段階の訓練手順を採用：まず、$ \bm{\xi} $ についての代理関数 $ \psi $ を最大化して入力特徴 $ \mathbf{X}_s $ を摂動し、次に勾配降下法でGNN重み $ \bm{\theta} $ を更新。
• 内側の最大化が厳密に凹で解けるように、強凸な輸送コスト $ c(\mathbf{X}, \bm{\xi}) = \|\mathbf{X} - \bm{\xi}\|_F^2 $ を用いる。

実験結果

リサーチクエスチョン

• RQ1 グラフニューラルネットワークは、グラフ上での半教師あり学習において、どのように分布シフトにロバストにできるか？
• RQ2 敵対的摂動がGNNの性能に与える影響は何か？ そして、そのロバスト性はどのように形式的に定量化され、保証できるか？
• RQ3 双対性理論を用いて、分布的ロバスト最適化フレームワークをGNNに適応可能な効率的学習問題に変換できるか？
• RQ4 ノイズや汚染された入力特徴下で、提案手法は標準的なGNNやベースラインと比べてどのように性能を発揮するか？
• RQ5 Wasserstein半径 $ \rho $ は、ロバスト性と性能のトレードオフをどのように制御するか？

主な発見

• 正常なデータ条件下で、IEEE 118バス電力系統における電圧振幅推定において、プロキシ線形ネットワーク、通常のフィードフォワードネットワーク（FNN）、深層FNNを上回る性能を示した。
• 最悪の摂動制約 $ P \in \mathcal{P} $ を満たす汚染されたテスト入力において、すべてのベースラインと比較して著しく高い推定精度を維持した。
• 実世界の電力網データにおける回帰タスクで最先端の性能を達成し、分布シフトや特徴摂動に対して耐性があることを示した。
• 強凸な輸送コストの使用により、内側の最大化で一意かつ微分可能な解が得られ、安定かつ収束する訓練が可能になった。
• グリッドサーチによるハイパーパramータチューニングの結果、$ \rho = 10 $ がクリーンデータにおける性能を損なわせずに強いロバスト性を実現した。
• 実験結果から、分布的不確実性下でもロバストモデルがより優れた一般化性能を示すことが確認され、正常および摂動付きの両テスト環境で一貫した性能を発揮した。