[論文レビュー] On Adaptive Attacks to Adversarial Example Defenses

Florian Tramèr, Nicholas Carlini+2 more|arXiv (Cornell University)|Feb 19, 2020

Adversarial Robustness in Machine Learning参考文献 58被引用数 141

ひとこと要約

本論文は thirteen 最近の敵対的防御が、慎重に調整された適応攻撃によって回避可能であることを示し、これらの評価を実施するための詳細な方法論を提供する。

ABSTRACT

Adaptive attacks have (rightfully) become the de facto standard for evaluating defenses to adversarial examples. We find, however, that typical adaptive evaluations are incomplete. We demonstrate that thirteen defenses recently published at ICLR, ICML and NeurIPS---and chosen for illustrative and pedagogical purposes---can be circumvented despite attempting to perform evaluations using adaptive attacks. While prior evaluation papers focused mainly on the end result---showing that a defense was ineffective---this paper focuses on laying out the methodology and the approach necessary to perform an adaptive attack. We hope that these analyses will serve as guidance on how to properly perform adaptive attacks against defenses to adversarial examples, and thus will allow the community to make further progress in building more robust models.

研究の動機と目的

• 既存の適応評価が防御の頑健性を証明するにはしばしば不十分であることを示す。
• 防御に対して強力な適応攻撃を作成するための再現可能で段階的な方法論を開発する。
• 防御評価の共通の弱点を強調し、より堅牢なテストのための指針を提供する。

提案手法

• ICLR、ICML、NeurIPS からのさまざまな防御を調査し、特徴づける。
• 最適化しやすく一貫性のある損失関数を用いて、改善された防御特化の適応攻撃を構築する。
• 標準的な攻撃ツール（PGD、C&W、BPDA、EOT）を活用し、それぞれの防御に合わせて調整する。
• 元の論文とコードを読んで失敗モードを反復的に仮説化し、より強力な適応攻撃を実装する。
• 将来の評価の教材となるよう、攻撃開発プロセスを全過程文書化する。

実験結果

リサーチクエスチョン

• RQ1 特定の機構を対象とした慎重に調整された適応攻撃に耐えることができるか？
• RQ2 多様な防御戦略に対する成功した適応攻撃の共通テーマは何か？
• RQ3 単一の潜在的に悪用されやすい手法に依存することを避けるよう、適応攻撃の方法論をどう構築すべきか？
• RQ4 現在の防御評価は、攻撃成功を代理するのに不適切な損失関数や最適化に依存していないか、そしてこれをどう正すべきか？

主な発見

• 適応攻撃は thirteen の防御全体の主張される頑健性を大幅に低下させる。
• 単純でよく調整された適応攻撃は、より複雑または間接的な戦略よりも優れていることが多い。
• 勾配マスキングのため勾配ベースの手法が失敗する場面で、スコアベース、決定ベース、転移攻撃が成功することがある。
• 多くの防御の頑健性の主張は、より強力な適応評価の下で成り立たないことが多いが、著者はすべての手法がすべての設定で無効であるとは断言していない。
• 攻撃戦略は完全には自動化されておらず、注意深く防御固有の調整を要する。