[論文レビュー] Principled Detection of Out-of-Distribution Examples in Neural Networks.

Shiyu Liang, Yixuan Li+1 more|arXiv (Cornell University)|Jun 8, 2017

Adversarial Robustness in Machine Learning被引用数 78

ひとこと要約

ODINは、再訓練を必要とせずニューラルネットワークにおける分布外（OOD）入力を検出する原理的で事後的な手法である。温度スケーリングと入力摂動を用いてソフトマックススコア分布を分離し、OOD検出を顕著に改善する—DenseNet/CIFAR-10で95%の真正陽性率における誤検出率を34.7%から4.3%に低減する。

ABSTRACT

We consider the problem of detecting out-of-distribution examples in neural networks. We propose ODIN, a simple and effective out-of-distribution detector for neural networks, that does not require any change to a pre-trained model. Our method is based on the observation that using temperature scaling and adding small perturbations to the input can separate the softmax score distributions of in- and out-of-distribution samples, allowing for more effective detection. We show in a series of experiments that our approach is compatible with diverse network architectures and datasets. It consistently outperforms the baseline approach[1] by a large margin, establishing a new state-of-the-art performance on this task. For example, ODIN reduces the false positive rate from the baseline 34.7% to 4.3% on the DenseNet (applied to CIFAR-10) when the true positive rate is 95%. We theoretically analyze the method and prove that performance improvement is guaranteed under mild conditions on the image distributions.

研究の動機と目的

• 再訓練を伴わず、ニューラルネットワークにおける分布外入力を信頼性高く検出する事後的手法の開発。
• 分布内と分布外のソフトマックススコア分布の分離を向上させること。
• 多様なアーキテクチャとデータセットにおける互換性を確保すること。
• 弱い分布仮定の下で性能向上の理論的裏付けを提供すること。

提案手法

• 最終のソフトマックス層に温度スケーリングを適用し、信頼度スコアを鋭くまたは緩くする。
• テスト入力に小さな、入力固有の摂動を加え、ソフトマックス出力の差を拡大する。
• 摂動は、損失関数の入力に関する勾配を小さなεでスケーリングして計算される。
• モデル学習後に行われるため、再訓練やアーキテクチャの変更が不要である。
• OODサンプルは分布内サンプルよりも摂動に対してより感受性が高いという事実を活用する。
• 摂動後のソフトマックススコアを用いて、入力を分布内または分布外と分類する。

実験結果

リサーチクエスチョン

• RQ1 再訓練を伴わず、温度スケーリングと入力摂動がOOD検出を改善できるか？
• RQ2 この手法は異なるニューラルネットワークアーキテクチャとデータセットに一般化可能か？
• RQ3 観察された性能向上の理論的根拠は何か？
• RQ4 誤検出率と真正陽性率の観点から、既存のベースラインと比較してどうなるか？

主な発見

• DenseNetをCIFAR-10で学習した場合、95%の真正陽性率における誤検出率を34.7%から4.3%にODINが低減する。
• この手法は、多様なネットワークアーキテクチャとデータセットにおいて、常にベースラインを上回る性能を示す。
• 入力分布に関する弱い条件下では、性能向上が理論的に保証される。
• 温度スケーリングと入力摂動は、分布内と分布外のサンプルにおけるソフトマックススコア分布を効果的に分離する。
• 任意の事前学習済みニューラルネットワークと互換性があり、アーキテクチャ的・訓練的変更が不要である。
• この手法は、ニューラルネットワークにおけるOOD検出の新たな最先端を確立する。