[論文レビュー] Robust Graph Neural Network Against Poisoning Attacks via Transfer Learning.

Xianfeng Tang, Yandong Li+4 more|arXiv (Cornell University)|Aug 20, 2019

Adversarial Robustness in Machine Learning被引用数 9

ひとこと要約

本稿では、類似分野のクリーングラフを活用して中毒攻撃に対する防御を強化する、ロバストなグラフニューラルネットワークPA-GNNを提案する。有害なエッジ検出の知識を摂動を加えたクリーングラフから中毒化されたターゲットグラフへメタ最適化によって転送することで、PA-GNNは学習されたアテンションメカニズムにより有害なエッジをペナルティ化し、4つの実世界データセットにおいて最先端のロバスト性を達成する。

ABSTRACT

Graph neural networks (GNNs) are widely used in many applications. However, their robustness against adversarial attacks is criticized. Prior studies show that using unnoticeable modifications on graph topology or nodal features can significantly reduce the performances of GNNs. It is very challenging to design robust graph neural networks against poisoning attack and several efforts have been taken. Existing work aims at reducing the negative impact from adversarial edges only with the poisoned graph, which is sub-optimal since they fail to discriminate adversarial edges from normal ones. On the other hand, clean graphs from similar domains as the target poisoned graph are usually available in the real world. By perturbing these clean graphs, we create supervised knowledge to train the ability to detect adversarial edges so that the robustness of GNNs is elevated. However, such potential for clean graphs is neglected by existing work. To this end, we investigate a novel problem of improving the robustness of GNNs against poisoning attacks by exploring clean graphs. Specifically, we propose PA-GNN, which relies on a penalized aggregation mechanism that directly restrict the negative impact of adversarial edges by assigning them lower attention coefficients. To optimize PA-GNN for a poisoned graph, we design a meta-optimization algorithm that trains PA-GNN to penalize perturbations using clean graphs and their adversarial counterparts, and transfers such ability to improve the robustness of PA-GNN on the poisoned graph. Experimental results on four real-world datasets demonstrate the robustness of PA-GNN against poisoning attacks on graphs. Code and data are available here: this https URL.

研究の動機と目的

• GNNの中毒攻撃に対する脆弱性、特にグラフ構造やノード特徴量の操作に起因する問題を解決すること。
• 既存手法が中毒グラフのみを防御に用いるため、有害エッジと通常エッジの区別ができないという制限を克服すること。
• 類似分野からの利用可能なクリーングラフを、有害エッジ検出の教師付き知識のソースとして活用すること。
• クリーングラフから中毒ターゲットグラフへロバスト性を転送するメタ最適化フレームワークを開発すること。
• 有害エッジの影響を低減するペナルティ付き集約メカニズムにより、GNNのロバスト性を向上させること。

提案手法

• PA-GNNは、メッセージパッシング中に有害エッジの注意係数を低減するペナルティ付き集約メカニズムを採用する。
• モデルは、クリーングラフとその敵対的に摂動を加えたバージョンの両方で最適化を繰り返すメタ最適化アルゴリズムで訓練される。
• クリーングラフとその摂動版を教師信号として用い、モデルが有害エッジを識別できるように学習する。
• メタ最適化プロセスにより、モデルがクリーンデータからのロバスト性を中毒ターゲットグラフへ一般化できるように保証する。
• モデルをクリーングラフデータで初期化し、敵対的知識を用いて中毒グラフでファインチューニングすることで、転移学習を活用する。
• 重要な要素として、メタ最適化プロセスで特定された有害エッジに対して明示的なペナルティを課すアテンションベースの集約が存在する。

実験結果

リサーチクエスチョン

• RQ1 類似分野からのクリーングラフは、中毒攻撃に対するGNNのロバスト性向上に有効に活用できるか？
• RQ2 クリーングラフからの教師付き知識を用いて、有害エッジと通常エッジをどのように区別できるか？
• RQ3 メタ最適化は、クリーングラフから中毒ターゲットグラフへ有害エッジ検出能力を効果的に転送できるか？
• RQ4 ペナルティ付き集約メカニズムは、有害エッジの影響を低減することでGNNのロバスト性を向上させられるか？
• RQ5 PA-GNNは、中毒攻撃下での性能維持という観点から、既存の防御手法と比較して優れているか？

主な発見

• PA-GNNは4つの実世界データセットにおいて、中毒攻撃に対して最先端のロバスト性を達成した。
• クリーングラフとその敵対的摂動版を教師信号として用いることで、モデルの有害エッジ検出および緩和能力が著しく向上した。
• メタ最適化フレームワークにより、クリーングラフから中毒ターゲットグラフへのロバスト性の転送が成功した。
• ペナルティ付き集約メカニズムにより、有害エッジに低い注意係数を割り当てることで、その影響を効果的に低減できた。
• PA-GNNは、さまざまな中毒攻撃設定下でも、既存の防御手法を上回る高い性能を維持した。
• 特に類似分野からのクリーングラフが利用可能な場合、強力な一般化性能を示した。