[論文レビュー] Can Adversarial Network Attack be Defended?

Chen Jin-yin, Yangyang Wu+2 more|arXiv (Cornell University)|Mar 11, 2019

Adversarial Robustness in Machine Learning参考文献 51被引用数 21

ひとこと要約

この論文は、グラフニューラルネットワーク（GNN）に対する adversarial 攻撃に対する包括的防御フレームワークを初めて提示し、新たな adversarial training 策略（Global-AT、Target-AT）および smooth defense 技術（smoothing distillation、smoothing cross-entropy loss）を導入した。これらの手法は勾配平滑化を通じて adversarial 勾配の振幅を低減し、多数の現実世界のネットワークとタスクにおいて顕著な耐性向上を実現した。

ABSTRACT

Machine learning has been successfully applied to complex network analysis in various areas, and graph neural networks (GNNs) based methods outperform others. Recently, adversarial attack on networks has attracted special attention since carefully crafted adversarial networks with slight perturbations on clean network may invalid lots of network applications, such as node classification, link prediction, and community detection etc. Such attacks are easily constructed with serious security threat to various analyze methods, including traditional methods and deep models. To the best of our knowledge, it is the first time that defense method against network adversarial attack is discussed. In this paper, we are interested in the possibility of defense against adversarial attack on network, and propose defense strategies for GNNs against attacks. First, we propose novel adversarial training strategies to improve GNNs' defensibility against attacks. Then, we analytically investigate the robustness properties for GNNs granted by the use of smooth defense, and propose two special smooth defense strategies: smoothing distillation and smoothing cross-entropy loss function. Both of them are capable of smoothing gradient of GNNs, and consequently reduce the amplitude of adversarial gradients, which benefits gradient masking from attackers. The comprehensive experiments show that our proposed strategies have great defensibility against different adversarial attacks on four real-world networks in different network analyze tasks.

研究の動機と目的

• グラフニューラルネットワークが adversarial ネットワーク攻撃に対して防御可能かどうかを調査すること。
• ネットワーク解析応用分野における adversarial パーティクルの増大するセキュリティ脅威に対処すること。
• NETTACK や FGA などの標的型および反復的攻撃に対して耐性を持つ、強固な防御メカニズムを開発すること。
• GNN における smooth defense の理論的および実験的耐性特性を探ること。
• ノード分類、コミュニティ検出、リンク予測などの多様なネットワークタイプおよび下流タスクにおいて、防御戦略を評価すること。

提案手法

• adversarial 例を用いた微調整により一般化性と耐性を向上させる、Global-AT および Target-AT の adversarial training 策略を提案する。
• 平滑化されたラベルを用いた知識蒸留を適用する smoothing distillation という手法を導入し、GNN の勾配更新を平滑化する。
• 出力分布を正則化することで、入力の摂動に対する勾配感度を低減する smoothing cross-entropy loss 関数を開発する。
• 勾配平滑化を用いて adversarial 勾配をマスクし、攻撃者が効果的な摂動を計算しにくくする。
• DeepWalk の埋め込みを用いた t-SNE 視覚化により、防御下でのノード表現の安定性を示す。
• adversarial training と smooth defense の両要素を統合するため、標準的な GNN（例：GCN）を用い、訓練手順を変更する。

実験結果

リサーチクエスチョン

• RQ1 adversarial training と smooth defense を用いることで、GNN に対する adversarial 攻撃を効果的に防御できるか？
• RQ2 smoothing ベースの防御（例：smoothing distillation、smoothing cross-entropy loss）は、GNN の耐性にどのように影響を与えるか？
• RQ3 FGA や NETTACK などの多様な攻撃タイプに対して、異なる防御戦略（例：Target-AT、Ensemble、AT）の相対的有効性はいかほどか？
• RQ4 防御機構は、clean データ上のモデル性能をどれほど維持しつつ、耐性を向上させるか？
• RQ5 smoothing を用いた勾配マスキングは、現実世界のネットワークにおける adversarial 攻撃の成功率を顕著に低下させるか？

主な発見

• 特に Target-AT および Ensemble 戦略が、すべてのデータセットとタスクで標準的な adversarial training（AT）を顕著に上回った。
• smoothing distillation および smoothing cross-entropy loss は、adversarial 勾配の振幅を効果的に低減し、勾配マスキングを強化した。
• PolBook および Dolphins ネットワークでは、Target-AT および Ensemble 防御が FGA および NETTACK 攻撃下でもコミュニティ検出で 90% を超える精度を達成したのに対し、標準的な AT は失敗または性能低下を示した。
• 視覚化結果から、Ensemble 防御下では、adversarial リンク変更後も標的ノードの埋め込みが安定しているのに対し、保護なしのモデルではそのような安定性が見られなかった。
• 標的攻撃を用いた adversarial training（Target-AT）は、グローバル攻撃を用いた adversarial training（Global-AT）よりも、特にコミュニティ検出タスクでより強い耐性を示した。
• adversarial training と smooth defense の組み合わせ（例：Ensemble）は、すべての攻撃タイプおよびデータセットにおいて、最も一貫性があり、強固な性能を示した。