[論文レビュー] Motivating the Rules of the Game for Adversarial Example Research

Justin Gilmer, Ryan P. Adams+3 more|arXiv (Cornell University)|Jul 18, 2018

Adversarial Robustness in Machine Learning参考文献 86被引用数 159

ひとこと要約

本論文は、実世界のセキュリティ脅威に研究を合わせるための敵対的例の攻撃者/防御者の規則の分類法を提案し、簡易で抽象的な脅威モデルに過度に依存する現在の摂動防御慣行を批判します。

ABSTRACT

Advances in machine learning have led to broad deployment of systems with impressive performance on important problems. Nonetheless, these systems can be induced to make errors on data that are surprisingly similar to examples the learned system handles correctly. The existence of these errors raises a variety of questions about out-of-sample generalization and whether bad actors might use such examples to abuse deployed systems. As a result of these security concerns, there has been a flurry of recent papers proposing algorithms to defend against such malicious perturbations of correctly handled examples. It is unclear how such misclassifications represent a different kind of security problem than other errors, or even other attacker-produced examples that have no specific relationship to an uncorrupted input. In this paper, we argue that adversarial example defense papers have, to date, mostly considered abstract, toy games that do not relate to any specific security concern. Furthermore, defense papers have not yet precisely described all the abilities and limitations of attackers that would be relevant in practical security. Towards this end, we establish a taxonomy of motivations, constraints, and abilities for more plausible adversaries. Finally, we provide a series of recommendations outlining a path forward for future work to more clearly articulate the threat model and perform more meaningful evaluation.

研究の動機と目的

• 敵対的例研究において意味のあるセキュリティ脅威とは何かを明確にする。
• 実世界のシナリオに沿った攻撃者の動機・制約・能力の分類法を導入する。
• 摂動防御に関する文献が現実的なセキュリティ問題へどのように適合しているかを評価し、ギャップを特定する。
• 関連性と厳密性を高めるための脅威モデル化と評価の推奨を提供する。

提案手法

• 敵対的例を定義する2人対戦の攻撃者–防御者ゲームフレームワークを開発する。
• 攻撃者の能力を軸に分類する：目的（標的型 vs 非標的型）、知識（ホワイトボックス/ブラックボックス）、入力空間（識別不能、内容保持、疑われない、内容制約、無制約の入力を含む）等。
• 開始点の考慮事項（データからの抽出か固定入力か）とゲームの順序付け（誰が先に行動するか、反復性）を区別する。
• 摂動防御文献でよく用いられる規則を調査する（例：データ点からのl_pノルムで制限された摂動）と、それらの現実性を批判する。
• 評価指標を論じる（データに対する期待値としての敵対的堅牢性など）と、難易度の反転や堅牢化のNP困難性といった問題。
• 規則選択とセキュリティ関連性を動機づける現実世界の具体的な例シナリオを提示する。

実験結果

リサーチクエスチョン

• RQ1 展開済みの機械学習システムにおいて現実的な攻撃者の目標と成功基準は何か。
• RQ2 攻撃者の知識と行動空間はどの程度妥当か、そしてそれらが防御設計をどう制約するか。
• RQ3 摂動防御規則は現実のセキュリティ脅威へどの程度適合するか、どこでずれているか。
• RQ4 特定の攻撃実装のアーティファクトではなく、意味のあるセキュリティ洞察を生み出す評価手法は何か。

主な発見

• 多くの摂動防御研究はデータ分布からの開始点とl_pノルムで制限された摂動を前提としており、現実のセキュリティ脅威としばしばずれる。
• 文献はしばしば特定の攻撃者戦略に対する頑健性を報告し、より強力な攻撃者がより容易な防御に直面するように見える難易度の反転を招く。
• 結論の出ないまたは過度に主張の強いセキュリティ主張を避けるために、明示的な脅威モデルとより広範な攻撃者能力の分類が必要である。
• NP困難な最適化と管理されていない攻撃戦略のため、単一の頑健性スコアに支配される評価指標は誤解を招く可能性がある。
• 現実世界の攻撃シナリオ（内容保持、疑われない、ペイロード制約、無制約）は標準の摂動防御フレームワークのギャップを明らかにする。