[論文レビュー] Robustness May Be at Odds with Accuracy

Dimitris Tsipras, Shibani Santurkar+3 more|arXiv (Cornell University)|May 30, 2018

Adversarial Robustness in Machine Learning参考文献 63被引用数 371

ひとこと要約

本論文は敵対的ロバスト性と標準精度の根本的なトレードオフを示し、ロバスト性を改善すると従来の精度が低下する可能性があることを証明し、ロバスト性が異なる人間に整合した特徴を学習することを示します。さらにロバスト性の利点と敵対的訓練の必要性についても論じます。

ABSTRACT

We show that there may exist an inherent tension between the goal of adversarial robustness and that of standard generalization. Specifically, training robust models may not only be more resource-consuming, but also lead to a reduction of standard accuracy. We demonstrate that this trade-off between the standard accuracy of a model and its robustness to adversarial perturbations provably exists in a fairly simple and natural setting. These findings also corroborate a similar phenomenon observed empirically in more complex settings. Further, we argue that this phenomenon is a consequence of robust classifiers learning fundamentally different feature representations than standard classifiers. These differences, in particular, seem to result in unexpected benefits: the representations learned by robust models tend to align better with salient data characteristics and human perception.

研究の動機と目的

• 標準的な一般化と敵対的ロバスト性の潜在的な対立を動機づけ、形式化する。
• 単純な分布モデルを通じて、高い標準精度が敵対的ロバスト性を破壊し得ること、そしてその逆もあり得ることを示す。
• 非自明なロバスト性を達成する上での敵対的訓練の役割とそれが精度に与える影響を検討する。
• ロバスト性の定性的な利点（人間に整合した表現や解釈可能な勾配を含む）を探る。

提案手法

• 1つの強い予測特徴と多数の弱い予測特徴を持つ簡単な2値分類データモデルを導入する。
• 標準精度が高いことが l_infty 摂動（ε ≥ 2 η）下でロバスト精度を低く抑えることを示すロバスト-精度のトレードオフ境界を証明する。
• 標準精度がほぼ100%の任意の分類器は、摂動に対して非ロバストな特徴に依存せざるを得ないことを示す。
• この設定で非自明なロバスト精度を得るには敵対的訓練が必要であることを示す定理を提示する。
• MNISTで同様のトレードオフと特徴利用を示す実証調査を提供する。
• 標準モデルとロバストモデルを比較するために損失勾配と敵対的サンプルを可視化する。

実験結果

リサーチクエスチョン

• RQ1 標準精度と敵対的ロバスト性の間に本質的なトレードオフはあるのか？
• RQ2 なぜ敵対的ロバスト性は時に標準精度を低下させるのか、これは避けられないのか、それとも訓練方法に起因するのか？
• RQ3 ロバストなモデルは標準モデルと比べてより人間に整合した特徴を学習しているのか？
• RQ4 敵対的訓練は他の標準精度をすべて犠牲にせずにロバスト性を意味のある程度改善できるのか？

主な発見

• 単純で自然なデータ分布にロバスト-精度のトレードオフが存在し、理論的には成立することを（Theorem 2.1）で示すことができる。
• 1−δ の標準精度を達成する任意の分類器は、ε ≥ 2η の l_infty 摂動下でロバスト精度は最大で (p/(1−p))·δ となり、ほぼ100% の標準精度はほぼゼロのロバスト精度につながることを示す（例: p=0.95 の場合：99% の標準精度 ⇒ ≤19% のロバスト）。
• 敵対的訓練は重要である：ロバスト性のために訓練されたソフトマージンSVMは非自明なロバスト精度を達成する一方、標準訓練は高い標準精度だが敵対的精度が低い（ε ≥ 2η の下で）。
• ロバストな分類器と標準的な分類器は異なる特徴セットに依存しており、ロバストな特徴は摂動を受けにくいことがこのトレードオフを説明する。
• MNIST で経験的に、標準モデルは弱く相関した特徴を使用し、ロバストモデルはよりロバストな特徴に焦点を当てる；ロバスト勾配は人間の知覚特徴とよりよく一致する。
• ロバストな摂動は顕著なデータ特性を持つ敵対的例を生み出し、元の例と大きな ε の敵対的例の間に滑らかなクラス間補間が現れ、GAN のような軌道に似てくる。