[論文レビュー] Unrestricted Adversarial Examples

T. B. Brown, Nicholas Carlini+4 more|arXiv (Cornell University)|Sep 22, 2018

Adversarial Robustness in Machine Learning参考文献 6被引用数 72

ひとこと要約

本論文は、制限のない敵対的入力に対する頑健性を評価するための継続的な二人プレイの対戦を提案する。未処理の鳥か自転車データセットを用い、防御側は自信を持つミスを避け、攻撃者は開かれた防御を悪用する。

ABSTRACT

We introduce a two-player contest for evaluating the safety and robustness of machine learning systems, with a large prize pool. Unlike most prior work in ML robustness, which studies norm-constrained adversaries, we shift our focus to unconstrained adversaries. Defenders submit machine learning models, and try to achieve high accuracy and coverage on non-adversarial data while making no confident mistakes on adversarial inputs. Attackers try to subvert defenses by finding arbitrary unambiguous inputs where the model assigns an incorrect label with high confidence. We propose a simple unambiguous dataset ("bird-or- bicycle") to use as part of this contest. We hope this contest will help to more comprehensively evaluate the worst-case adversarial risk of machine learning models.

研究の動機と目的

• 頑健性研究をノーム制約付き敵対者の範囲を超えて動機づける。
• ground-truth評価のためのあいましいでない鳥か自転車データセットを導入する。
• 防御側があいましい入力を回避するか正しくラベルづけし、攻撃者が自信を持つ誤分類を狙う二人プレイの対戦を設計する。
• 現実的な脅威モデルで防御を評価・比較するオープンソースの仕組みを提供する。
• ウォームアップと継続的なチャレンジラウンドを通じて反復可能な進歩を促す。

提案手法

• OpenImages から Ground truth が複数の人間タスカーによって決定された、鳥か自転車の2クラスのあいましいデータセットを構築する。
• 防御モデルは bird, bicycle, あるいは abstain を出力でき、あいましい入力については自信を持つミスをしない。
• 任意の入力修正を含むことがある制限のないホワイトボックス攻撃を許容し、人間が検証した Ground truth によって評価する。
• 民間の適格性セットで80%の精度要件を課して回避を防止する abstention メカニズムを導入する。
• 固定された undefeated 期間（例: 90 日）後に defended-prize の評価を行い、週次の攻撃提出、人間による検証を行う継続的な対戦を運営する。
• 継続前の unrestricted contest 開始前に過剰適合を避けるため、固定攻撃を用いたウォームアップ phase を行う。

実験結果

リサーチクエスチョン

• RQ1 防御側は adversarial input に対して selective に abstain しつつ、あいましい鳥か自転車画像でゼロの自信を持つミスを避けることができるか？
• RQ2 制限のないホワイトボックス攻撃のオープン性は、ノーム制約攻撃と比べて防御の頑健性にどのように影響するか？
• RQ3 継続的でオープンソースの防御提出は、時間の経過とともに繰り返される攻撃に耐えられるか？
• RQ4 クリーンデータでの性能を損なわずに、信頼できる abstention を実現する実用的な仕組みは何か？

主な発見

• 著者らは、現実の頑健性課題をよりよく反映するために、制限のない攻撃を含む継続的で完全なホワイトボックス対戦を提案している。
• Ground truth の妥当性をタスカー間の合意によって確保するため、あいましいでない鳥か自転車データセットを使用する。
• 防御側は abstain できるが、簡略な abstention を防ぐため民間の適格性セットで80%の精度を維持する必要がある。
• 攻撃は人間の審判によって検証され、賞が授与される前にあいましいことを確保することで公正な評価を促進する。
• ウォームアップとして固定攻撃を用い、無制限ラウンドの前に単純な防御を浮上させ過剰適合を防ぐ。
• オープンソースの対戦メカニクスと進化する防御/攻撃が提供され、コミュニティの参加を促す。