[論文レビュー] Reliable Graph Neural Networks via Robust Aggregation

Simon Geisler, Daniel Zügner+1 more|arXiv (Cornell University)|Oct 29, 2020

Adversarial Robustness in Machine Learning参考文献 23被引用数 24

ひとこと要約

本稿では、頑健統計の原則を活用して、敵対的に挿入された辺の影響を軽減する、完全に微分可能で頑健なグラフニューラルネットワーク（GNN）の集約関数「Soft Medoid」を提案する。分解点が0.5であるため、ノードの隣接ノードの半数まで敵対的である場合でも誤差が上限に抑えられ、Citeseerでは構造的摂動に対して最大5.5倍、低次数ノードでは8倍の頑健性向上を達成する。

ABSTRACT

Perturbations targeting the graph structure have proven to be extremely effective in reducing the performance of Graph Neural Networks (GNNs), and traditional defenses such as adversarial training do not seem to be able to improve robustness. This work is motivated by the observation that adversarially injected edges effectively can be viewed as additional samples to a node's neighborhood aggregation function, which results in distorted aggregations accumulating over the layers. Conventional GNN aggregation functions, such as a sum or mean, can be distorted arbitrarily by a single outlier. We propose a robust aggregation function motivated by the field of robust statistics. Our approach exhibits the largest possible breakdown point of 0.5, which means that the bias of the aggregation is bounded as long as the fraction of adversarial edges of a node is less than 50\%. Our novel aggregation function, Soft Medoid, is a fully differentiable generalization of the Medoid and therefore lends itself well for end-to-end deep learning. Equipping a GNN with our aggregation improves the robustness with respect to structure perturbations on Cora ML by a factor of 3 (and 5.5 on Citeseer) and by a factor of 8 for low-degree nodes.

研究の動機と目的

• グラフエッジの摂動がモデル性能を著しく低下させるGNNの構造的敵対的攻撃に対する深刻な脆弱性を是正すること。
• 従来のGNN集約関数（例：和、平均）が外れ値に極めて敏感であることを特定し、1つの敵対的エッジによって任意の歪みが可能であることを示すこと。
• 最大50%の近傍入力が損傷しても誤差が有界に保たれるような頑健な集約メカニズムを開発すること。
• 非微分可能なメドイドの完全に微分可能な代替手法を設計し、深層GNNアーキテクチャにおけるエンドツーエンド学習を可能にすること。
• 特に、近傍情報が限られるために従来より脆弱である低次数ノードの頑健性を向上させること。

提案手法

• メドイドの微分可能な一般化として、埋め込み空間内のペアワイズ距離におけるソフトミニマライゼーションアプローチを用いたSoft Medoidを提案する。
• メドイドを近似する微分可能な目的関数として定式化し、バックプロパゲーションによる勾配伝播を可能にする。
• GNNのメッセージパッシングフレームワークにSoft Medoidを統合し、更新式における従来の集約関数（例：和、平均）に置き換える。
• 理論的に分解点が0.5であることを保証し、近傍の半数未満が敵対的であれば推定値が有界に保たれることを確認する。
• 温度制御されたソフトミニマライゼーション関数を用いて離散的メドイド選択を近似し、深層学習パイプラインにおける滑らかな最適化を実現する。
• アーキテクチャの大幅な変更なしに、標準的なGNNアーキテクチャ（例：GCN）に統合可能であり、プラグアンドプレイによる頑健性を実現する。

実験結果

リサーチクエスチョン

• RQ1 攻撃固有の仮定に依存せずに、構造的敵対的攻撃に耐性を持つ微分可能な頑健な集約関数を設計可能か？
• RQ2 高い分解点（0.5）を持つ頑健な集約関数は、構造的摂動のさまざまなレベルにおいて、GNNの頑健性をどの程度向上できるか？
• RQ3 本稿で提案するSoft Medoid集約は、従来の防御手法と比較して、本質的により脆弱な低次数ノードにおいても優れた性能を示すか？
• RQ4 標準的な攻撃設定下で、CoraやCiteseerなどの複数のベンチマークデータセットにおいて、頑健性の向上が実証可能か？
• RQ5 微分可能なメドイド近似を用いることで、クリーンデータ下でのモデル精度は維持されつつ、攻撃下での頑健性が著しく向上するか？

主な発見

• Soft Medoidは、ベースラインGNNと比較して、Cora MLでは相対的に3倍、Citeseerでは最大5.5倍の構造的摂動に対する頑健性向上を達成する。
• Cora MLでは相対的頑健性が550%向上し、低次数ノードでは最大8倍の向上を達成し、困難な状況下でも強い耐性を示す。
• RGCN、[24]、[52]を含む、先行する最先端の防御手法を複数の攻撃タイプとデータセットで上回る性能を発揮する。
• 認証実験の結果、Soft Medoid GDCは、エッジ追加および削除攻撃の両方において、さまざまな摂動半径で高い認証率を維持する。
• ソフトミニマライゼーションの定式化により、効果的なバックプロパゲーションとエンドツーエンド学習が可能となり、クリーン精度を高く維持しながら、頑健性を著しく向上させる。
• 理論的分析により、Soft Medoidが最適な分解点0.5を達成することが確認され、近傍の半数未満が損傷しても誤差が有界に保たれることを保証する。