[論文レビュー] Adversarial Robustness May Be at Odds With Simplicity

Preetum Nakkiran|arXiv (Cornell University)|Jan 2, 2019

Adversarial Robustness in Machine Learning参考文献 8被引用数 75

ひとこと要約

この論文は、ロバスト分類が標準分類よりも複雑さを要する可能性を理論的構成で示し、単純な分類器の中にも敵対的ロバスト性と標準精度の間にトレードオフが存在する可能性を示す。

ABSTRACT

Current techniques in machine learning are so far are unable to learn classifiers that are robust to adversarial perturbations. However, they are able to learn non-robust classifiers with very high accuracy, even in the presence of random perturbations. Towards explaining this gap, we highlight the hypothesis that $\textit{robust classification may require more complex classifiers (i.e. more capacity) than standard classification.}$ In this note, we show that this hypothesis is indeed possible, by giving several theoretical examples of classification tasks and sets of "simple" classifiers for which: (1) There exists a simple classifier with high standard accuracy, and also high accuracy under random $\ell_\infty$ noise. (2) Any simple classifier is not robust: it must have high adversarial loss with $\ell_\infty$ perturbations. (3) Robust classification is possible, but only with more complex classifiers (exponentially more complex, in some examples). Moreover, $\textit{there is a quantitative trade-off between robustness and standard accuracy among simple classifiers.}$ This suggests an alternate explanation of this phenomenon, which appears in practice: the tradeoff may occur not because the classification task inherently requires such a tradeoff (as in [Tsipras-Santurkar-Engstrom-Turner-Madry `18]), but because the structure of our current classifiers imposes such a tradeoff.

研究の動機と目的

• ロバスト分類が標準分類より高い容量を要求する理由を動機づける。
• 単純な分類器が非ロバストでありつつ、ロバスト分類がより複雑なモデルでのみ存在する具体的な構成を提供する。
• 単純な分類器内で敵対的損失と標準損失の定量的なトレードオフを示す。

提案手法

• 分類器の標準損失、敵対的損失、およびノイズ耐性損失を定義する。
• Construction 1 を提示する。単純な線形分類器が標準/ノイズ損失は低いが敵対的損失が高い一方、非単純な分類器が低い敵対的損失を達成する分布。
• Theorem 2 を提示し、単純な分類子の部分集合に敵対的損失と標準損失の明示的なトレードオフを示す。
• Construction 2 を提示する。平均ケースで難しい関数を用いてロバスト性の時間/複雑さ要件を分離する。
• ロバスト分類は標準的に正確な分類器より指数的に多くの複雑さを要する可能性があることを示す。

実験結果

リサーチクエスチョン

• RQ1 なぜ現在の手法は高い標準精度を達成しながら敵対的にロバストな分類器を学習するのに苦労するのか？
• RQ2 ロバスト性は必ずしも分類器の容量を高く要求するのか、具体的な設定でこれを証明できるのか？
• RQ3 単純な分類器は敵対的ロバスト性と標準精度の間にトレードオフを示せるのか？
• RQ4 ロバスト分類器が存在する条件で、取得にははるかに多くの計算または表現の複雑さが必要になるのか？
• RQ5 ロバスト性は標準分類器の単純で壊れやすい特徴を利用する能力とどのように関連しているのか？

主な発見

• 標準精度が高く、ノイズ耐性が高い高いが、l_infinity摂動に対して非ロバスト（敵対的損失が高い）な単純な分類器が存在する。
• 任意の単純な線形分類器は敵対的摂動下で非ロバストである可能性がある一方、より複雑な（非線形）分類器は敵対的損失を低く抑えられる。
• いくつかの構成では、ロバスト分類は標準分類に必要なものより指数的に多くの複雑な分類器を要することがある。
• 単純な分類器の間で敵対的損失と標準損失の定量的トレードオフが存在する。
• ロバスト分類器が存在するが、それを見つけるには高い計算複雑性を要する分布がある。
• ある構成では、単純な前処理ステップ（丸め）が複雑さを増やさずにロバスト性を達成できない。