[論文レビュー] Understanding Structural Vulnerability in Graph Convolutional Networks

Liang Chen, Jintang Li+4 more|arXiv (Cornell University)|Aug 13, 2021

Advanced Graph Neural Networks参考文献 28被引用数 4

ひとこと要約

この論文は、グラフ畳み込みネットワーク（GCNs）における非ロバストな重み付き平均アグリゲーションが、敵対的攻撃に対する構造的脆弱性の根本的原因であると特定している。重み付き平均をメジアンやトリムム平均といった高分解能のアグリゲータに置き換えることで、予測精度を損なわず、直接的および間接的構造的攻撃の両方に対して最先端のロバスト性を達成した。その有効性は4つの実世界データセットで検証された。

ABSTRACT

Recent studies have shown that Graph Convolutional Networks (GCNs) are vulnerable to adversarial attacks on the graph structure. Although multiple works have been proposed to improve their robustness against such structural adversarial attacks, the reasons for the success of the attacks remain unclear. In this work, we theoretically and empirically demonstrate that structural adversarial examples can be attributed to the non-robust aggregation scheme (i.e., the weighted mean) of GCNs. Specifically, our analysis takes advantage of the breakdown point which can quantitatively measure the robustness of aggregation schemes. The key insight is that weighted mean, as the basic design of GCNs, has a low breakdown point and its output can be dramatically changed by injecting a single edge. We show that adopting the aggregation scheme with a high breakdown point (e.g., median or trimmed mean) could significantly enhance the robustness of GCNs against structural attacks. Extensive experiments on four real-world datasets demonstrate that such a simple but effective method achieves the best robustness performance compared to state-of-the-art models.

研究の動機と目的

• GCNがノード分類において成功を収めているにもかかわらず、構造的敵対的攻撃に対してなぜ脆弱であるのかを理解すること。
• その脆弱性の根本的原因を、GCNにおけるアグリゲーションメカニズムに焦点を当てて同定すること。
• 理論的裏付けがあり、シンプルな方法でGCNのロバスト性を向上させるための手法を提案すること。
• メジアンやトリムム平均といった高分解能アグリゲータを用いることで、標的構造的攻撃において顕著なロバスト性向上が達成されることを検証すること。

提案手法

• 分解能理論を用いた理論的分析により、アグリゲーション関数のロバスト性を定量化し、重み付き平均が低い分解能を持つことを示した。
• GCNにおける標準的な重み付き平均アグリゲーションを、分解能が高いために優れたメジアンまたはトリムム平均アグリゲーションに置き換えた。
• エッジの摂動に対する感受性を比較するための正式な指標として、分解能を用いた。
• 4つの実世界データセット上で、変動する摂動予算を有する標的回避攻撃（NETTACK）を用いてロバスト性を評価した。
• 攻撃強度の異なる状況下でのモデル性能を包括的に評価するため、合成的ロバストネス指標 ∑ₚ₌₁⁵ q × p_q を採用した。
• 直接的および間接的攻撃の両方の条件下で、提案手法のアグリゲータをGCN、RGCN、SimPGCN、およびその他のSOTAモデルと比較するためのアブレーションスタディを実施した。

実験結果

リサーチクエスチョン

• RQ1 GCNがノード分類において優れた性能を発揮しているにもかかわらず、なぜ構造的敵対的攻撃に対して脆弱であるのか？
• RQ2 GCNにおけるアグリゲーション関数の選択が、エッジ摂動に対するロバスト性にどのように影響するか？
• RQ3 メジアンやトリムム平均といった高分解能アグリゲータは、GCNの構造的攻撃に対するロバスト性を顕著に向上させることができるか？
• RQ4 標準的な重み付き平均アグリゲーションをよりロバストな代替手法に置き換えることで、予測精度を損なわずロバスト性が向上するか？

主な発見

• GCNにおける重み付き平均アグリゲーションは低い分解能を示し、微小な構造的摂動に対して非常に感受しやすい。これは根本的な脆弱性の理由を説明する。
• メジアンやトリムム平均アグリゲータは高い分解能を示し、標準的なGCNを破壊する敵対的エッジの挿入に対しても耐性を持つ。
• 4つの実世界データセット（Cora、Citeseer、Pubmed、Reddit）において、メジアンアグリゲーションは直接攻撃においてすべてのベースラインを上回り、間接攻撃においても同等またはそれ以上の性能を示した。
• 摂動予算が5に達するまで、提案手法は予測精度に低下を来さずに最先端のロバスト性を達成した。これにより、ロバストアグリゲーションが実用的かつ効果的であることが示された。
• ロバストネス指標 ∑ₚ₌₁⁵ q × p_q は、メジアンやトリムム平均を用いるモデルが、特に摂動予算が小さい（例：1または2）場合に、あらゆる摂動レベルで高い性能を維持していることを示した。
• RGCNにおけるアテンションメカニズムが単純なロバストアグリゲータを上回らないことが結果から確認された。これは、ロバストネスが複雑なアテンションメカニズムよりもアグリゲーション設計に依存していることを示唆している。