[論文レビュー] Towards Reasonable Budget Allocation in Untargeted Graph Structure Attacks via Gradient Debias

Zihan Liu, Luo Yun+3 more|arXiv (Cornell University)|Mar 29, 2023

Adversarial Robustness in Machine Learning被引用数 9

ひとこと要約

要約: 論文は、攻撃目的として負のクロスエントロピーを用いると、非標的グラフ構造攻撃において勾配バイアスが低信頼度ノードに偏ることを示し、勾配デバイアス目的(GraD)を提案する。単純なGraD攻撃モデルで、灰箱(poisoning)における攻撃効果を改善する。

ABSTRACT

It has become cognitive inertia to employ cross-entropy loss function in classification related tasks. In the untargeted attacks on graph structure, the gradients derived from the attack objective are the attacker's basis for evaluating a perturbation scheme. Previous methods use negative cross-entropy loss as the attack objective in attacking node-level classification models. However, the suitability of the cross-entropy function for constructing the untargeted attack objective has yet been discussed in previous works. This paper argues about the previous unreasonable attack objective from the perspective of budget allocation. We demonstrate theoretically and empirically that negative cross-entropy tends to produce more significant gradients from nodes with lower confidence in the labeled classes, even if the predicted classes of these nodes have been misled. To free up these inefficient attack budgets, we propose a simple attack model for untargeted attacks on graph structure based on a novel attack objective which generates unweighted gradients on graph structures that are not affected by the node confidence. By conducting experiments in gray-box poisoning attack scenarios, we demonstrate that a reasonable budget allocation can significantly improve the effectiveness of gradient-based edge perturbations without any extra hyper-parameter.

研究の動機と目的

• Motivate: 無標的なグラフ構造攻撃における非効率な予算配分に対処する。
• Negative cross-entropy が低信頼度ノードに勾配バイアスを生む仕組みを分析する。
• ノード間の勾配寄与を均等化する新しい攻撃目的として勾配デバイアスを提案する。
• 勾配デバイアスを実装する単純なサロゲートモデルベースの攻撃フレームワーク GraD を開発する。
• 複数データセットと被害モデルにわたる灰箱 poisoning 実験を通じて GraD を検証する。

提案手法

• perturbations を生成するために線形2層 GC N のサロゲートモデルを使用する。
• ノードレベルの攻撃損失からバックプロパゲーションで A_grad を計算する。
• 偽ラベルとノードの信頼度を用いて攻撃損失を定義する。
• 勾配をバランスさせるためのデバイアス重み λ_P_i = P_v_i(y_i'|f_theta*)(G) を導入する。
• L_atk-gd = P_v_i(y_i'|f_theta*) log P_v_i(y_i'|f_theta*)、実質的に勾配をデバイズする。
• untargeted gray-box poisoning の下で GraD をベースライン (Random, DICE, Meta-Train, Meta-Self, EpoAtk) と比較評価する。

実験結果

リサーチクエスチョン

• RQ1 従来の負のクロスエントロピー目的は、無標的なグラフ構造攻撃において予算配分を非効率にしてしまうのか？
• RQ2 勾配デバイアス目的はノードの勾配寄与を均等化し、灰箱設定で攻撃効果を高められるのか？
• RQ3 GraD は弱転送・強転送のシナリオで異なる被害モデルとともにどう機能するのか？
• RQ4 GraD が摂動グラフにおけるノード信頼度の分布に与える影響は？
• RQ5 GraD は複数データセット(Citeseer, Cora, Cora-ML, Polblogs) およびサロゲート/被害モデルの組み合わせで頑健なのか？

主な発見

• 負のクロスエントロピーは勾配を低信頼度ノードへ偏らせ、予算の非効率的な使い方を引き起こす。
• 勾配デバイアス(GraD) は勾配を正則化し、すべてのノードがエッジ摂動へより均等に寄与するようにする。
• GraD は無標的な灰箱 poisoning において弱転送テスト（GCN サロゲート vs GCN 被害モデル）でベースラインを上回る。
• 強転送テスト（GAT/GraphSage 被害モデル）では、データセットと被害モデルにより利益は異なるものの、概ね GraD の性能が優れている。
• GraD は極端な高信頼度/低信頼度ノードの摂動を抑え、予算配分をより均衡にする。