[論文レビュー] Are Perceptually-Aligned Gradients a General Property of Robust Classifiers?

Simran Kaur, Jeremy M. Cohen+1 more|arXiv (Cornell University)|Oct 18, 2019

Adversarial Robustness in Machine Learning参考文献 26被引用数 38

ひとこと要約

この論文本は、知覚的に整合した勾配が敵対訓練されたネットワークだけでなく、ランダム化平滑化（ガウス）によるロバスト分類器にも発生することを示しており、この現象がロバストモデルの一般的な特性である可能性を示唆している。

ABSTRACT

For a standard convolutional neural network, optimizing over the input pixels to maximize the score of some target class will generally produce a grainy-looking version of the original image. However, Santurkar et al. (2019) demonstrated that for adversarially-trained neural networks, this optimization produces images that uncannily resemble the target class. In this paper, we show that these "perceptually-aligned gradients" also occur under randomized smoothing, an alternative means of constructing adversarially-robust classifiers. Our finding supports the hypothesis that perceptually-aligned gradients may be a general property of robust classifiers. We hope that our results will inspire research aimed at explaining this link between perceptually-aligned gradients and adversarial robustness.

研究の動機と目的

• ロバスト性防衛策とともに知覚的に整合した勾配が現れる理由の理解を促す。
• 知覚的整合性が敵対的訓練を超えてランダム化平滑化に拡張するかを調査する。
• 標的付き敵対的合成を通じて、平滑化された分類器が知覚的に一貫したターゲットクラス特徴を示すことを実証する。

提案手法

• Gaussian-smoothed classifier ￡hat{f}_{} およびその base network f を定義し、用いる。
• 期待ロジットを用いて標的型敵対的目的を定式化し、Gaussianノイズに対するモンテカルロ勾配推定を用いて最適化する。
• Projected Gradient Descent (PGD) を用いて平滑化されたネットワークの大規模な敵対的事例を作成する。
• 勾配ベースの合成のための2つの損失目的関数を比較する: cross-entropy (L_CE) と target class max (L_TCM)、知覚品質の点でL_TCMを好む。
• クラス固有のガウス分布から得られたシード画像から開始し、ターゲットクラススコアの勾配上昇によってクラス条件付き画像を合成する。

実験結果

リサーチクエスチョン

• RQ1 敵対訓練されたモデルに加えて、ランダム化平滑化によって構築された分類器にも知覚的に整合した勾配が現れるか？
• RQ2 勾配の知覚的整列はロバストな分類器の一般的な特性なのか、それとも特定の防御法に特有のものなのか？
• RQ3 平滑化パラメータ（例: sigma）や勾配推定の選択が、合成画像の知覚品質にどのように影響するか？
• RQ4 基盤ネットワークの異なる訓練手法（Gaussian augmentation vs. SmoothAdv）の知覚的整列性を平滑化分類器においてどう影響するか？

主な発見

• 特定のクラスを標的とする大規模な敵対的例を作成する際、平滑化されたネットワークで知覚的に整合した勾配が観察される。
• 平滑化分類器を介して合成された画像は視覚的にはターゲットクラスに似る傾向があるが、全体的な一貫性に欠けることがある。
• この設定ではL_TCM損失がクロスエントロピー損失よりも知覚的に一貫したターゲットクラス画像をもたらす。
• 平滑化スケール sigma を大きくすると、ターゲットクラスのより一貫した単一インスタンス表現が得られやすくなる一方、sigma が小さいと特徴が散在する。
• 勾配推定のためのモンテカルロサンプリング（N）を用い、N を最大で 20 までとすることで、彼らの実験で知覚的合成に十分な品質を提供する。