[論文レビュー] Interpreting and Evaluating Neural Network Robustness

Fuxun Yu, Zhuwei Qin+4 more|arXiv (Cornell University)|May 10, 2019

Adversarial Robustness in Machine Learning参考文献 14被引用数 11

ひとこと要約

本論文は、入力領域の制限された近傍内での予測の最大乖離（KL発散度を用いて測定）を測定することにより、内在的ロバストネスを定量化する、ニューラルネットワーク向けの新規で不変のロバストネス指標を提案する。入力空間における損失可視化と正規化手法を用いることで、アーキテクチャに依存せず、信頼性が高く、効率的なロバストネス評価が可能となり、攻撃や防御の設定に関わらずPGD精度を上回る一貫性と信頼性を示す。

ABSTRACT

Recently, adversarial deception becomes one of the most considerable threats to deep neural networks. However, compared to extensive research in new designs of various adversarial attacks and defenses, the neural networks' intrinsic robustness property is still lack of thorough investigation. This work aims to qualitatively interpret the adversarial attack and defense mechanism through loss visualization, and establish a quantitative metric to evaluate the neural network model's intrinsic robustness. The proposed robustness metric identifies the upper bound of a model's prediction divergence in the given domain and thus indicates whether the model can maintain a stable prediction. With extensive experiments, our metric demonstrates several advantages over conventional adversarial testing accuracy based robustness estimation: (1) it provides a uniformed evaluation to models with different structures and parameter scales; (2) it over-performs conventional accuracy based robustness estimation and provides a more reliable evaluation that is invariant to different test settings; (3) it can be fast generated without considerable testing cost.

研究の動機と目的

• 入力空間における意思決定サーフェスの可視化を通じて、ニューラルネットワークにおける adversarial vulnerability の根本的要因を解明すること。
• PGDに基づく adversarial accuracy に起因する限界を是正すること。PGD精度は攻撃設定や防御手法に敏感であり、信頼性に欠ける。
• モデル再パラメータ化、攻撃タイプ、防御手法、モデルスケールに不変であるロバストネス指標を設計すること。
• 高コストな adversarial testing を回避する、高速でスケーラブルな評価手法を提供すること。
• 外部テスト条件に依存しない、信頼性の高い内在的ロバストネス測定を確立すること。

提案手法

• パrameter空間から入力空間への損失可視化の再定式化により、入力空間における意思決定サーフェスを可視化し、adversarial パーティクルが予測をどのように誤導するかを明らかにする。
• 有界な摂動範囲（例：ℓ∞ < 0.3）内でのモデル予測の最大KL発散度に基づく新しいロバストネス指標を定義する。
• 重みスケーリングなどのモデル再パラメータ化に対して不変を保つために、指標の安定化を図る正規化手法を導入する。
• 損失関数の幾何的性質と adversarial generalization を関連付けるために、入力空間における ε-sharpness の修正版を採用する。
• ミニバッチサンプリングを最適化することで、小さなバッチサイズ（例：1000）で収束が達成され、変動が小さい。
• 経験的閾値に基づき、モデルのロバストネスレベル（例：脆弱、ある程度ロバスト、ロバスト）に分類する指標を用いる。

実験結果

リサーチクエスチョン

• RQ1 adversarial 例が存在する根本的要因は何か。また、その背後にあるメカニズムを入力空間で視覚的に解釈できるか？
• RQ2 なぜ PGD に基づく adversarial テスティング精度は、内在的モデルロバストネスの信頼性の低い指標となるのか？
• RQ3 モデル再パラメータ化および異なる攻撃／防御設定に対して不変であるロバストネス指標を設計可能か？
• RQ4 従来の adversarial accuracy 評価と比較して、提案指標は信頼性と効率性においてどのように優れているか？
• RQ5 この指標を用いて、データセットやアーキテクチャをまたいで一貫性があり、スケーラブルで解釈可能なロバストネスグレーディングシステムを構築可能か？

主な発見

• adversarial 例は、クリーンな入力の近傍における一般化の不足（under-fitting）に起因し、モデルが入力のすぐ近くで滑らかに一般化できないことから生じる。
• 提案されたロバストネス指標（ψₙ）は、モデル再パラメータ化（例：重みスケーリング）に対しても安定しており、正規化されていない指標や ε-sharpness とは異なり、著しく歪められない。
• バッチサイズ1000未満で、MNISTでは10%未満、CIFAR-10では5%未満の誤差で信頼性の高いロバストネス推定が可能であり、高い計算効率を示す。
• ℓ∞ < 0.3 の MNIST において、ロバストネスグレーディングが可能である：スコアが100未満は脆弱、100～270はある程度ロバスト、270を超えるはロバスト。
• 防御的蒸留（defensive distillation）は、PGD精度を意図的に上昇させつつ、実際のロバストネスを低下させるが、本指標は真の内在的ロバストネスを正しく反映する。
• 多様なモデル、データセット、攻撃タイプにおいて、本指標はPGD精度を常に上回るロバストネス推定を示し、優れた不変性と信頼性を示している。