[論文レビュー] Detecting Anomalous Inputs to DNN Classifiers By Joint Statistical Testing at the Layers.

Jayaram Raghuram, Varun Chandrasekaran+2 more|arXiv (Cornell University)|Jul 29, 2020

Adversarial Robustness in Machine Learning被引用数 5

ひとこと要約

本論文は、DNN分類器の内部層表現のクラス条件付き分布を統合的に検定することで、敵対的入力および分布外（OOD）入力を検出する非教師あり統計枠組みを提案する。層を跨いでp値を計算し、スコア関数によってそれらを統合することで、高い正確性で異常入力を特定する。この手法は、ベンチマークデータセット上で5つの最先端検出手法と比較して優れているか、同等の性能を発揮する。

ABSTRACT

Detecting anomalous inputs, such as adversarial and out-of-distribution (OOD) inputs, is critical for classifiers deployed in real-world applications, especially deep neural network (DNN) classifiers that are known to be brittle on such inputs. We propose an unsupervised statistical testing framework for detecting such anomalous inputs to a trained DNN classifier based on its internal layer representations. By calculating test statistics at the input and intermediate-layer representations of the DNN, conditioned individually on the predicted class and on the true class of labeled training data, the method characterizes their class-conditional distributions on natural inputs. Given a test input, its extent of non-conformity with respect to the training distribution is captured using p-values of the class-conditional test statistics across the layers, which are then combined using a scoring function designed to score high on anomalous inputs. We focus on adversarial inputs, which are an important class of anomalous inputs, and also demonstrate the effectiveness of our method on general OOD inputs. The proposed framework also provides an alternative class prediction that can be used to correct the DNNs prediction on (detected) adversarial inputs. Experiments on well-known image classification datasets with strong adversarial attacks, including a custom attack method that uses the internal layer representations of the DNN, demonstrate that our method outperforms or performs comparably with five recently-proposed, competing detection methods.

研究の動機と目的

• 展開済みDNN分類器において、敵対的および分布外（OOD）入力に対して脆いことが知られているという、深刻な課題に取り組む。
• 訓練時に敵対的例へのアクセスを必要としない非教師あり手法を開発し、広範な適用可能性を実現する。
• ラベル付き訓練データから導出されたクラス条件付き統計を用いて、自然入力の分布を入力層および中間層で特徴づける。
• 異常入力を高いスコアで特定できる信頼性の高い異常検出メカニズムを提供し、異常を検出した際に補正予測を可能にする。
• 内部層表現を標的とする新たな攻撃を含む、強力な敵対的攻撃に対しても耐性を示す。

提案手法

• DNNの入力および中間層表現における検定統計量を、訓練サンプルの予測クラスおよび真のクラスに条件づけて計算する。
• ラベル付き訓練データを用いて、これらの検定統計量のクラス条件付き分布を推定し、自然入力の期待される挙動をモデル化する。
• テスト入力に対して、学習済みのクラス条件付き分布からの乖離度を示すp値を、各層で計算する。
• 異常入力を強調するように設計されたスコア関数を用いて、層ごとのp値を統合し、効果的な検出を実現する。
• 異常入力として特定された場合に、代替の補正済み分類予測を生成するために、同じ統計枠組みを活用する。
• 内部層表現を標的とする独自の敵対的攻撃を用いて、検出枠組みの耐性を厳密に評価する。

実験結果

リサーチクエスチョン

• RQ1 複数のDNN層に跨る統合的統計的検定は、単一層または非統計的手法と比較して、敵対的およびOOD入力の検出を改善するか？
• RQ2 本手法は、内部層表現を狙う攻撃を含む、強力な攻撃によって生成された敵対的例をどれほど効果的に検出できるか？
• RQ3 入力が異常と検出された場合に、信頼性の高い代替予測を提供できるか？これにより分類器の耐性が向上するか？
• RQ4 複数の層に跨るクラス条件付き検定統計量の使用は、既存の非教師ありアプローチと比較して、より優れた一般化性能および検出性能をもたらすか？
• RQ5 分布シフト下や敵対的例以外の多様なOOD入力に対して、本手法はどの程度の性能を示すか？

主な発見

• 本手法は、強力な敵対的攻撃下でも、標準的な画像分類ベンチマークにおいて5つの最近の検出手法を上回るか、同等の性能を発揮する。
• 本手法は、内部層表現を標的とする独自の敵対的攻撃に対しても高い検出性能を示し、耐性を実証する。
• 複数の層に跨るクラス条件付き統計的検定からのp値の使用により、自然データ分布から逸脱する入力を効果的に検出可能である。
• 本手法は、検出された敵対的入力に対して補正済みの予測を提供でき、実世界での展開における分類器の信頼性向上に実用的なメカニズムを提供する。
• 層ごとのp値を統合するスコア関数は、異常を効果的に強調し、多様なテストシナリオにおいて優れた検出性能を達成する。
• 本手法は非教師ありであり、訓練時に敵対的例を必要としないため、既存のDNN分類器に広く適用可能である。