[論文レビュー] Adversarial Attack on Hierarchical Graph Pooling Neural Networks

Haoteng Tang, Guixiang Ma+5 more|arXiv (Cornell University)|May 23, 2020

Adversarial Robustness in Machine Learning参考文献 55被引用数 22

ひとこと要約

本論文は、グラフ分類のための階層的グラフプーリング（HGP）ニューラルネットワークを標的とする、最初の敵対的攻撃フレームワークを提案する。プーリング演算子によって選択された重要なノードを、サーヴィレートモデルを用いて摂動することで、誤ったノードの保持を引き起こし、最小限で目立たないグラフの変更で、モデル性能を著しく低下させる。

ABSTRACT

Recent years have witnessed the emergence and development of graph neural networks (GNNs), which have been shown as a powerful approach for graph representation learning in many tasks, such as node classification and graph classification. The research on the robustness of these models has also started to attract attentions in the machine learning field. However, most of the existing work in this area focus on the GNNs for node-level tasks, while little work has been done to study the robustness of the GNNs for the graph classification task. In this paper, we aim to explore the vulnerability of the Hierarchical Graph Pooling (HGP) Neural Networks, which are advanced GNNs that perform very well in the graph classification in terms of prediction accuracy. We propose an adversarial attack framework for this task. Specifically, we design a surrogate model that consists of convolutional and pooling operators to generate adversarial samples to fool the hierarchical GNN-based graph classification models. We set the preserved nodes by the pooling operator as our attack targets, and then we perturb the attack targets slightly to fool the pooling operator in hierarchical GNNs so that they will select the wrong nodes to preserve. We show the adversarial samples generated from multiple datasets by our surrogate model have enough transferability to attack current state-of-art graph classification models. Furthermore, we conduct the robust train on the target models and demonstrate that the retrained graph classification models are able to better defend against the attack from the adversarial samples. To the best of our knowledge, this is the first work on the adversarial attack against hierarchical GNN-based graph classification models.

研究の動機と目的

• 階層的グラフプーリング（HGP）ニューラルネットワークのグラフ分類タスクにおける耐性を調査すること。
• 特にHGPベースのアーキテクチャを対象とした、グラフレベル学習モデルにおける敵対的攻撃研究の不足に応えること。
• 分類を破壊するために、グラフプーリング機構を標的にする転送可能な敵対的攻撃戦略を開発すること。
• このような攻撃に対する耐性向上のため、敵対的訓練の有効性を評価すること。

提案手法

• 敵対的サンプルを生成するため、畳み込みおよびプーリング演算子を備えたサーヴィレートモデルを設計する。
• プーリング操作から選別された保持ノードを、主な攻撃標的とする。
• 攻撃標的のノードに小さな、目立たない摂動を加えることで、プーリング演算子が誤ったノードを選択するように誘導する。
• 構造的変更を最小限に抑えつつ分類を誤らせるように最適化するため、貪欲な探索戦略を適用する。
• 複数の最先端のHGPモデルに対して生成された敵対的サンプルをテストすることで、転送性を評価する。
• 元のサンプルと敵対的サンプルを混合して再学習することで、モデルの耐性を高めるためのロバストトレーニングを実装する。

実験結果

リサーチクエスチョン

• RQ1 敵対的攻撃は、グラフ分類タスクにおける階層的GNNの性能を効果的に破壊できるか？
• RQ2 あるHGPモデルで生成された敵対的サンプルは、他の最先端のHGPモデルへどの程度転送可能か？
• RQ3 敵対的訓練は、このような攻撃に対してHGPモデルの耐性をどの程度向上できるか？
• RQ4 摂動は、コミュニティおよび中心性指標で測定したグラフの階層的構造にどのような影響を与えるか？

主な発見

• 提案された攻撃フレームワークは、多様なデータセット上で複数のHGPモデルに対して、高い転送性を持つ敵対的サンプルを効果的に生成した。
• 元のサンプルと敵対的サンプルのノード次数分布間の平均KLダイバージェンスは低く（例：DDでは7.60e-3）、摂動が最小限で目立たないことを示した。
• 統計的検定（p値 < 0.05）により、GRCおよびCL指標で測定したグラフ階層構造に顕著な構造的差異が確認された。
• ロバストトレーニングにより、敵対的テストセットにおけるモデルの正確性が著しく向上したが、クリーンデータでは性能低下が最小限に抑えられた（例：DDおよびMutagenicityデータセットで5%未満の低下）。
• 敵対的サンプルは、元のモデルにおける分類正確性に顕著な低下をもたらし、攻撃の有効性を示した。
• 攻撃は特定にプーリング機構を標的にしており、保持されるノードが変更され、結果としてモデルが判別的なグラフ表現を学習する能力が低下した。