[論文レビュー] Edge Dithering for Robust Adaptive Graph Convolutional Networks

Vassilis N. Ioannidis, Georgios B. Giannakis|arXiv (Cornell University)|Oct 21, 2019

Advanced Graph Neural Networks参考文献 26被引用数 9

ひとこと要約

本稿では、ノイズや敵対的摂動を受けるグラフ構造による性能低下を軽減するため、複数のエッジ・ダイタリング（dithering）を用いた補助的グラフを生成する、適応的グラフ畳み込みネットワーク（ED-AGCN）の手法を提案する。適応的グラフ結合重みを学習し、グラフベースの正則化を適用することで、ノード特徴量が存在しない状況でも、標準的なGCNに比べて顕著に高いロバスト性を達成する。

ABSTRACT

Graph convolutional networks (GCNs) are vulnerable to perturbations of the graph structure that are either random, or, adversarially designed. The perturbed links modify the graph neighborhoods, which critically affects the performance of GCNs in semi-supervised learning (SSL) tasks. Aiming at robustifying GCNs conditioned on the perturbed graph, the present paper generates multiple auxiliary graphs, each having its binary 0-1 edge weights flip values with probabilities designed to enhance robustness. The resultant edge-dithered auxiliary graphs are leveraged by an adaptive (A)GCN that performs SSL. Robustness is enabled through learnable graph-combining weights along with suitable regularizers. Relative to GCN, the novel AGCN achieves markedly improved performance in tests with noisy inputs, graph perturbations, and state-of-the-art adversarial attacks. Further experiments with protein interaction networks showcase the competitive performance of AGCN for SSL over multiple graphs.

研究の動機と目的

• グラフ畳み込みネットワーク（GCNs）の構造的摂動、特にエッジに対するランダムノイズや敵対的攻撃への脆弱性を是正すること。
• ノード特徴量が利用不可または信頼できない状況でも効果的に機能するロバストな半教師あり学習フレームワークを開発すること。
• 確率的エッジ・ダイタリングにより、元のノード近傍を確率的に回復させることで、グラフの汚染にもかかわらず正確な局所的表現の回復を可能とすること。
• 複数のダイタリング補助グラフを動的かつレイヤー固有の重みで結合する学習により、一般化性能とロバスト性を向上させること。
• 実世界のデータセットを用いて、ランダムおよび敵対的エッジ摂動の下で本手法を検証し、一貫した性能向上を示すこと。

提案手法

• エッジ・ダイタリングは、学習可能な確率 $ q_1 $（エッジ生成）および $ q_2 $（エッジ削除）を用いて、確率的にエッジの追加・削除を行うことで、元の近傍構造を高い確率で再構築することを目的とする。
• 本手法は、エッジの反転をベルヌーイ分布に従ってサンプリングすることで、$ I $ 個の独立なエッジ・ダイタリンググラフ $ \bar{\mathbf{A}}_i $ を構築し、構造的多様性を維持する。
• 適応的GCN（AGCN）は、各ダイタリンググラフからの特徴量を、学習可能な重み $ \alpha_i $ を用いてレイヤーごとに統合する。これらの重みは、摂動の加わらない近傍を強調するように最適化される。
• 特徴量の伝達を促進し、層間の勾配勾配を改善するために、残差接続が導入される。
• 過学習を防ぎ、元のトポロジーに応じた滑らかさを強制するために、グラフベースの正則化項が組み込まれる。
• 交差エントロピー損失に加え、L2正則化およびグラフ正則化項を含むエンド・ツー・エンドの訓練により、ノード特徴量が不要な状況でもロバスト性を実現する。

実験結果

リサーチクエスチョン

• RQ1 適切に選定された確率を用いたエッジ・ダイタリングは、グラフ摂動下でもノードの元の近傍構造を回復できるか？
• RQ2 複数のダイタリンググラフを適応的に統合することで、敵対的攻撃下の半教師ありノード分類において、ロバスト性がどのように向上するか？
• RQ3 ノード特徴量が欠落または汚染されている状況で、提案されたAGCNは標準的なGCNをどの程度上回るか？
• RQ4 AGCNの性能は、ダイタリンググラフ数 $ I $ やエッジ生成・削除確率 $ q_1 $、$ q_2 $ といったハイパーパrameterにどの程度敏感か？
• RQ5 ED-AGCNフレームワークは、実世界のグラフに内在するノイズや構造的異常に対しても、高い性能を維持できるか？

主な発見

• Coraデータセットでは、40ノードが攻撃を受ける状況でAGCNは84.00%の正確度を達成したのに対し、GCNは62.39%にとどまり、顕著なロバスト性の向上が確認された。
• Coraで30ノードが攻撃を受ける状況でも、AGCNは82.00%の正確度を示し、GCNの74.66%を上回った。元のグラフが摂動を受けても、依然として優れた性能を発揮した。
• Citeseerでは、20ノードが攻撃を受ける状況でAGCNは70.99%の正確度を維持したのに対し、GCNは60.49%にとどまり、敵対的環境下でも一貫した向上が確認された。
• エッジ摂動が存在しない状況でも、AGCNはすべてのデータセットでGCNを上回った。これは、実世界のグラフにノイズや不適切なエッジが存在する可能性を示唆しており、AGCNがその影響を緩和していることを示している。
• AGCNの性能は、$ q_1 $、$ q_2 $、$ I $ の範囲で比較的安定しており、$ I=5 $ であっても顕著な向上が得られた。これは、ハイパーパrameter選択に対して強いロバスト性を示している。
• ベルヌーイノイズの実験では、エッジ摂動率が上昇してもAGCNは高い正確度を維持したが、GCNの性能は20%を超えると急激に低下した。