[論文レビュー] Adversarial Examples Are a Natural Consequence of Test Error in Noise

Nic Ford, Justin Gilmer+2 more|arXiv (Cornell University)|Jan 29, 2019

Adversarial Robustness in Machine Learning参考文献 27被引用数 135

ひとこと要約

本論文は、敵対的サンプルがGaussianノイズ下の非ゼロのテスト誤差から自然に生じることを主張し、敵対的ロバストネスを破損ロバストネスと結びつけ、Imagenet-Cのような分布シフトベンチマークと併用評価を推奨する。

ABSTRACT

Over the last few years, the phenomenon of adversarial examples --- maliciously constructed inputs that fool trained machine learning models --- has captured the attention of the research community, especially when the adversary is restricted to small modifications of a correctly handled input. Less surprisingly, image classifiers also lack human-level performance on randomly corrupted images, such as images with additive Gaussian noise. In this paper we provide both empirical and theoretical evidence that these are two manifestations of the same underlying phenomenon, establishing close connections between the adversarial robustness and corruption robustness research programs. This suggests that improving adversarial robustness should go hand in hand with improving performance in the presence of more general and realistic image corruptions. Based on our results we recommend that future adversarial defenses consider evaluating the robustness of their methods to distributional shift with benchmarks such as Imagenet-C.

研究の動機と目的

• ノイズのある・破損した画像分布下での敵対的ロバストネスと破損ロバストネスの関連性を動機づける。
• Gaussianノイズ下での分類器の誤差集合を特徴づけ、それを小さな敵対的摂動と関連付ける。
• 敵対的ロバストネスの改善が破損ロバストネスに影響を与え、またその逆も起こり得ることを示す。
• 敵対的指標に加えて破損ベンチマークを用いた防御評価の実践的指針を提供する。

提案手法

• クリーン入力および破損入力の下での分類器の誤差集合Eを定義し分析する。
• Gaussianノイズ下での破損ロバストネスを誤差集合Eへの距離とノイズスケールパラメータを通じて敵対的ロバストネスに関連付ける。
• 線形モデルの直感を用いて、d(x0,E) ≈ -sigma Phi^{-1}(mu)という決定境界までの距離とGaussianノイズ誤差率muを結びつける関係を導く。
• 通常訓練、Gaussian拡張、敵対的訓練を施したモデルをCIFAR-10およびImageNetで実証的に比較する。
• Gaussian等星和不等式を適用して、ある非ゼロのGaussianノイズ誤差率に対して、Nearest誤差への中央値の距離が -sigma Phi^{-1}(mu)で下限または上限されることを境界として示す。
• Imagenet-Cでの破損ロバストネスを評価し、メモリ内破損と圧縮破損を比較して脆弱性と防御有効性を評価する。

実験結果

リサーチクエスチョン

• RQ1 Gaussianノイズ下で観測された誤差率を考慮したとき、クリーン入力から小さな距離で敵対的例が必然的に存在するのか。
• RQ2 Gaussian摂動下での破損ロバストネスは、自然訓練・Gaussian拡張・敵対訓練といった異なる訓練方式間で敵対的ロバストネスとどのように関連するのか。
• RQ3 現実的なノイズ分布下でisoperimetric境界が敵対的例のクリーンデータへの近接性を意味有意に説明できるのか。
• RQ4 敵対的ロバストネスを改善する防御は破損ロバストネスも向上させるのか、またその逆もあり得るのか。
• RQ5 共通破損ベンチマーク（Imagenet-C）は敵対防御の評価にどのような影響を与えるのか。

主な発見

• 敵対的例はGaussianノイズ下の半空間誤差モデルによって予測される距離で現れるため、摂動を説明するために特異な意思決定境界は必要ないことを示唆している。
• 敵対的ロバストネスの向上（敵対的訓練を通じて）はGaussianノイズへのロバストネスも高め、Gaussian拡張は主にノイズへのロバストネスと小さな摂動へのロバストネスをある程度高める。
• Gaussian等周不等式は、非零のGaussianノイズ誤差率を与えた場合、Nearest誤差への中央値の距離が -sigma Phi^{-1}(mu)で界され、半空間で等しくなることを示し、経験的観察と一致する。
• Gaussianノイズで高い誤差率を持つモデルは近くの誤差がより近く、最も頑健なモデルは半空間様の誤差集合に近づく傾向があり、線形直感と一致する。
• 敵対的訓練とGaussian拡張は破損ロバストネスを向上させ、異なる破損タイプ（例：ブラー、ノイズ、フォグ、コントラスト）に対する頑健性のプロファイルを変える可能性がある。
• 破損ロバストネスのベンチマーク（Imagenet-C）は、防御が圧縮破損とメモリ内破損で異なる性能を示す可能性があることを明らかにし、分布シフト下での脆さと横断的評価の価値を強調している。