[論文レビュー] Better Safe Than Sorry: Preventing Delusive Adversaries with Adversarial Training

Lue Tao, Lei Feng+3 more|arXiv (Cornell University)|Feb 9, 2021

Adversarial Robustness in Machine Learning被引用数 17

ひとこと要約

本稿では、誤標籠の攻撃（正しくラベル付けされた訓練データをわずかに摂動させることでモデルの汎化性能を低下させる攻撃）に対する原理的で整合性のある防御として、敵対的訓練を提案する。delusive 攻撃を ∞-Wasserstein 球内に形式化することで、摂動されたデータ上の敵対的リスクを最小化することは、元の清浄データ上の自然リスクの上界を最適化することに相当することを示し、敵対的訓練が複数のベンチマークおよび攻撃タイプにおいて delusive 敵対者による性能低下を回復できることを示している。

ABSTRACT

Delusive attacks aim to substantially deteriorate the test accuracy of the learning model by slightly perturbing the features of correctly labeled training examples. By formalizing this malicious attack as finding the worst-case training data within a specific $\\infty$-Wasserstein ball, we show that minimizing adversarial risk on the perturbed data is equivalent to optimizing an upper bound of natural risk on the original data. This implies that adversarial training can serve as a principled defense against delusive attacks. Thus, the test accuracy decreased by delusive attacks can be largely recovered by adversarial training. To further understand the internal mechanism of the defense, we disclose that adversarial training can resist the delusive perturbations by preventing the learner from overly relying on non-robust features in a natural setting. Finally, we complement our theoretical findings with a set of experiments on popular benchmark datasets, which show that the defense withstands six different practical attacks. Both theoretical and empirical results vote for adversarial training when confronted with delusive adversaries.

研究の動機と目的

• 攻撃者が正しくラベル付けされた訓練データをわずかに摂動させることでモデルの汎化性能を低下させる、delusive 攻撃の増加する脅威に対処すること。
• 摂動された例が正しくラベル付けされており、多数存在する場合に失敗する、標準的なデータクリーニングおよび検出手法の限界を克服すること。
• 摂動された例を破棄することなく、敵対的訓練が delusive 攻撃に対して防御できることを示し、データの有用性を保全すること。
• delusive 敵対者によって導入された非頑健で脆い特徴への過剰依存を防ぐ、敵対的訓練の内部メカニズムを解明すること。
• 自己教師あり学習および教師あり学習の両タスクにおいて、CIFAR-10、SVHN、ImageNet のサブセット上で、6種類の多様な実用的攻撃に対して、実験的に防御の有効性を検証すること。

提案手法

• delusive 攻撃を、ラベルを保持したままの ∞-Wasserstein 球内での最悪の訓練データの特定として形式化し、最も有害な摂動をモデル化する。
• 摂動されたデータ上の敵対的リスクを最小化することは、元のデータ上の自然リスクの上界を最適化することに等しいことを証明する。
• この同等性を根拠に、敵対的訓練が delusive 敵対者に対する原理的で整合性のある防御機構であることを正当化する。
• 2つの摂動方向（敵対的（P1, P3）および偽善的（P2, P4））を分析することで、敵対的訓練が異なるメカニズムにより両者に対し耐性を示すことを示す。
• 実験的評価のための5つの実用的攻撃バリエーション（P1（敵対的）、P2（偽善的）、P3（ユニバーサル敵対的）、P4（ユニバーサル偽善的）、P5（ユニバーサルランダム摂動））を導入する。
• これらの攻撃で汚染されたデータセットに対して、標準的な敵対的訓練（例：PGDベース）を適用し、清浄なテストセットにおける頑健性と汎化性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 敵対的訓練は、誤標籠の攻撃（正しくラベル付けされた訓練データを誤って摂動させる攻撃）に対して、誤ってラベル付けされない状況でも効果的に防御できるか？
• RQ2 敵対的訓練が誤標籠のポイズニング下で自然精度を向上させる理論的根拠はあるか？
• RQ3 敵対的訓練は、誤標籠の敵対者によって導入された非頑健な特徴の悪影響をどのように軽減するか？
• RQ4 ユニバーサルおよびランダム摂動を含む多様な攻撃タイプに対しても、防御は有効に機能するか？
• RQ5 実世界の信頼できないデータソースを想定した状況下で、敵対的訓練は誤標籠攻撃によって低下した性能を回復できるか？

主な発見

• delusively poisoned データ上で敵対的訓練を実行することで、すべての訓練例が摂動されている場合でさえも、本来著しく低下するはずの自然テスト精度が回復される。
• 理論的分析により、摂動されたデータ上の敵対的リスクを最小化することは、清浄データ上の自然リスクの上界を最適化することに相当することが示された。
• 敵対的訓練は、delusive 攻撃によって導入された非頑健で脆い特徴への過剰依存を防ぎ、汎化性能を向上させる。
• 敵対的訓練は、CIFAR-10、SVHN、ImageNet のサブセットにおいて、ユニバーサル敵対的および偽善的摂動を含む6つの異なる実用的攻撃に対して、頑健であることが確認された。
• 単純な P5 攻撃（クラス固有のランダム摂動）ですら驚くほど効果的であるが、敵対的訓練はその影響を効果的に緩和した。
• 実験的結果により、敵対的訓練がテスト時敵対的例に対してのみ有効であるのではなく、はるかに危険な誤標籠訓練時攻撃に対しても強力な防御手段であることが確認された。