[論文レビュー] Graph Robustness Benchmark: Benchmarking the Adversarial Robustness of Graph Machine Learning

Qinkai Zheng, Xu Zou+6 more|arXiv (Cornell University)|Nov 8, 2021

Advanced Graph Neural Networks参考文献 50被引用数 9

ひとこと要約

本論文は、グラフ機械学習（GML）モデルにおける敵対的ロバストネスを評価するためのスケーラブルで統合的かつ再現可能なフレームワーク、Graph Robustness Benchmark（GRB）を紹介する。GRBはモジュラーな実装、複数スケールの多様なデータセット、洗練されたシナリオにおける統一されたプロトコルを通じて、攻撃および防御の評価を標準化し、公平で大規模なベンチマークと公開リーダーボードを可能にすることで、堅牢なGML研究の加速を図る。

ABSTRACT

Adversarial attacks on graphs have posed a major threat to the robustness of graph machine learning (GML) models. Naturally, there is an ever-escalating arms race between attackers and defenders. However, the strategies behind both sides are often not fairly compared under the same and realistic conditions. To bridge this gap, we present the Graph Robustness Benchmark (GRB) with the goal of providing a scalable, unified, modular, and reproducible evaluation for the adversarial robustness of GML models. GRB standardizes the process of attacks and defenses by 1) developing scalable and diverse datasets, 2) modularizing the attack and defense implementations, and 3) unifying the evaluation protocol in refined scenarios. By leveraging the GRB pipeline, the end-users can focus on the development of robust GML models with automated data processing and experimental evaluations. To support open and reproducible research on graph adversarial learning, GRB also hosts public leaderboards across different scenarios. As a starting point, we conduct extensive experiments to benchmark baseline techniques. GRB is open-source and welcomes contributions from the community. Datasets, codes, leaderboards are available at https://cogdl.ai/grb/home.

研究の動機と目的

• グラフ機械学習（GML）モデルにおける敵対的ロバストネスの評価に、公平で標準化された手法が不足している問題に対処すること。
• 既存のベンチマークに見られる限界、すなわち現実的でない攻撃／防御シナリオ、一貫性のない評価プロトコル、およびスケーラビリティの欠如を克服すること。
• 研究者が評価パイプラインを再発明することなく、堅牢なGMLモデルの開発に集中できる、モジュラーで再現可能なフレームワークを提供すること。
• 進捗を追跡し、グラフ敵対的学習分野におけるオープンかつ再現可能な研究を促進するため、公開リーダーボードを構築すること。
• 一貫性がありスケーラブルで洗練された設定下で、現実的なシナリオ（グラフの変更とグラフのインジェクション）における評価を標準化すること。

提案手法

• 攻撃者と防御者の能力を明確化した、洗練された2つの攻撃シナリオ（グラフの変更：エッジ／ノードの摂動、およびグラフのインジェクション：悪意あるノードの追加）を設計する。
• 攻撃／防御の難易度の違いを反映するように、複数のグラフサイズ（小、中、大、フルスケール）にわたる、スケーラブルでロバストネスに焦点を当てたデータ分割方式を開発する。
• GitHubにホスティングされたモジュラーなコードフレームワークを実装し、一貫したインターフェースを備えた多様なGNNモデル、攻撃手法、防御手法をサポートする。
• すべてのシナリオにわたる評価プロトコルを統一し、標準化された指標（正解率、3分間正解率、重み付き正解率）と実験設定を含める。
• 自動化されたデータ処理および評価パイプラインを統合し、再現可能な実験を容易にする。
• 継続的に更新される公開リーダーボードを提供し、異なる攻撃／防御設定およびデータセットにおける性能を追跡可能にする。

実験結果

リサーチクエスチョン

• RQ1 標準化され現実的な敵対的攻撃シナリオ下で、既存のGNNモデルおよび防御手法はどのように性能を示すか？
• RQ2 モデルのスケールとグラフサイズは、敵対的ロバストネスにどのような影響を及ぼし、攻撃タイプによってその影響はどのように変化するか？
• RQ3 現在の防御メカニズムは、ブラックボックス、インダクティブ、および回避攻撃の設定下で、どの程度の性能を維持できるか？
• RQ4 GRBにおける統一された評価プロトコルは、多様なGNNアーキテクチャ、攻撃手法、防御手法間での公平で再現可能な比較をどのように可能にするか？
• RQ5 公開リーダーボードにおけるベンチマーク結果から、GML分野における敵対的ロバストネスの最先端技術についてどのような知見が得られるか？

主な発見

• GRBは、データセット、分割方式、評価指標の標準化を通じて、多様なGNNモデル、攻撃手法、防御手法間での一貫性があり公平な評価を可能にする。
• ベースラインモデルは敵対的攻撃下で顕著な性能低下を示す。例えば、FGSM攻撃下でHスケールデータセットでは、正解率がクリーン状態の75.84％から72.14％に低下する。
• 3分間正解率指標は、攻撃下での迅速な劣化を示しており、HスケールデータセットでFGSM攻撃下では平均で71.93％に低下し、時間制約のある推論における脆弱性を示している。
• 重み付き正解率は、強力な攻撃下で最も深刻な劣化を示し、FスケールデータセットでFGSM攻撃下では60.54％に低下し、クラス不均衡への感受性が顕著に現れている。
• ロバストネス技術（例：RobustGCN、ProGNN）を用いて訓練されたモデルは、標準的なGNNと比較して攻撃下でも高い正解率を維持するという、より高い耐性を示している。
• 公開リーダーボードは、ロバストネスが攻撃シナリオとモデルアーキテクチャに強く依存しており、あらゆる設定で優位な手法が存在しないことを示している。