[論文レビュー] Robust Graph Neural Networks via Probabilistic Lipschitz Constraints

Raghu Arghal, Eric Lei+1 more|arXiv (Cornell University)|Dec 14, 2021

Advanced Graph Neural Networks被引用数 6

ひとこと要約

本稿では、ノード属性およびグラフ構造の入力摂動に対して安定性を保証するため、周波数応答制御による確率的リプシッツ制約を用いた頑健なグラフニューラルネットワーク（GNN）フレームワークを提案する。グラフフィルタの周波数応答の$∞ll^\infty$ノルムを制約し、可 tractable な最適化のためのシナリオアプローチを適用することで、データ拡張や専用防御手法よりも、ノイズありおよび敵対的入力において優れた性能を達成するモデルに依存しない頑健性とPACスタイルの保証を実現する。

ABSTRACT

Graph neural networks (GNNs) have recently been demonstrated to perform well on a variety of network-based tasks such as decentralized control and resource allocation, and provide computationally efficient methods for these tasks which have traditionally been challenging in that regard. However, like many neural-network based systems, GNNs are susceptible to shifts and perturbations on their inputs, which can include both node attributes and graph structure. In order to make them more useful for real-world applications, it is important to ensure their robustness post-deployment. Motivated by controlling the Lipschitz constant of GNN filters with respect to the node attributes, we propose to constrain the frequency response of the GNN's filter banks. We extend this formulation to the dynamic graph setting using a continuous frequency response constraint, and solve a relaxed variant of the problem via the scenario approach. This allows for the use of the same computationally efficient algorithm on sampled constraints, which provides PAC-style guarantees on the stability of the GNN using results in scenario optimization. We also highlight an important connection between this setup and GNN stability to graph perturbations, and provide experimental results which demonstrate the efficacy and broadness of our approach.

研究の動機と目的

• 分散制御のような安全に重要な応用分野において、ノード属性およびグラフ構造の入力摂動に対するGNNの脆弱性を是正すること。
• データシフトモデルの事前知識を必要とせず、アーギロニスティックな頑健訓練を可能にする頑健性フレームワークの開発。
• 信号摂動と構造的摂動の両方の頑健性を、一つの周波数ドメイン制約フレームワークで統一すること。
• VC理論に基づくサンプル複雑度保証を有するシナリオアプローチを用いて、計算的に効率的でスケーラブルな訓練と理論的安定性保証を実現すること。

提案手法

• GNNの頑健性を、ノード属性に対するリプシッツ定数を直接制御するグラフフィルタの周波数応答の$∞ll^\infty$ノルム制約として定式化する。
• 離散周波数応答制約を、グラフシフト演算子のスペクトル上で連続的・半無限に拡張することで、あらゆるグラフクラスに普遍的な頑健性を実現する。
• 半無限問題をシナリオアプローチを用いて確率的制約最適化に緩和し、VC理論に基づくサンプル複雑度保証を有するサンプリングベースの解法を可能にする。
• 周波数応答の微分を制約することで、同じフレームワークを構造的頑健性に応用し、グラフトポロジの変化に対する安定性と関連付ける。
• 効率的な$∞ll^\infty$プロキシおよびシナリオ最適化を用いて緩和問題を解き、計算効率を維持する。
• 周波数応答の境界によるフィルタ係数の制約をGNNに適用し、敵対的またはノイズ固有のデータ拡張に依存せずに頑健性を確保する。

実験結果

リサーチクエスチョン

• RQ1 GNNフィルタの周波数応答制約は、ノード属性摂動に対するリプシッツ連続性を強制するために利用可能か？
• RQ2 周波数応答制約を用いて、グラフクラス全体にわたる連続的・普遍的な信号シフトに対する頑健性をどのように達成できるか？
• RQ3 シナリオアプローチは、未知のデータシフトモデル下で、計算的に効率的かつ理論的保証付きのGNNの頑健訓練を可能にするか？
• RQ4 提案されたフレームワークは、グラフトポロジの変化などの構造的摂動に対しても有効か？
• RQ5 未知のノイズタイプへの一般化において、標準的なデータ拡張および敵対的訓練と比較して、本手法はどのように性能を発揮するか？

主な発見

• AWGNおよび$∞ll^\infty$敵対的ノイズが増加する状況でも、Lipschitz GNNは標準GNNやデータ拡張を上回る高い性能を維持し、テスト時のノイズレベルがトレーニング時を上回る場合でも同様の結果を示す。
• 攻撃者のアタックモデルを事前に知らない状況でも、$∞ll^\infty$-PGD敵対的訓練と同等の性能を達成する。
• 動的フロッキング制御タスクにおいて、本手法はデータ拡張よりも未知のノイズ分布に一般化が良く、敵対的入力では$∞ll^\infty$-PGD性能に匹敵する。
• シナリオアプローチは$[a,b]$上での連続的周波数応答制約を効果的に強制し、図2に示すように、スペクトル全体で最大絶対周波数応答$H^*(\lambda)$が有界に保たれている。
• 周波数応答の微分を制約することで、本フレームワークは構造的頑健性へ一般化され、グラフ摂動に対する安定性と関連づけられる。
• クリーンデータ上での性能低下が最小限に抑えられ、頑健性と精度の間の強いトレードオフを示している。