[論文レビュー] Statistical Testing for Efficient Out of Distribution Detection in Deep Neural Networks.

Matan Haroush, Tzivel Frostig+2 more|arXiv (Cornell University)|Feb 25, 2021

Adversarial Robustness in Machine Learning参考文献 36被引用数 4

ひとこと要約

この論文は、深層ニューラルネットワークにおける分布外（OOD）検出のための統計的仮説検定フレームワークを提案する。OOD検出を形式的な統計的仮説検定として扱い、誤検出率を制御可能に保証する。ネットワーク活性化の低次の統計量を活用することで、再訓練を必要とせず、最小限の計算コストで最先端のOOD検出性能を達成する。

ABSTRACT

Commonly, Deep Neural Networks (DNNs) generalize well on samples drawn from a distribution similar to that of the training set. However, DNNs' predictions are brittle and unreliable when the test samples are drawn from a dissimilar distribution. This presents a major concern for deployment in real-world applications, where such behavior may come at a great cost -- as in the case of autonomous vehicles or healthcare applications. This paper frames the Out Of Distribution (OOD) detection problem in DNN as a statistical hypothesis testing problem. Unlike previous OOD detection heuristics, our framework is guaranteed to maintain the false positive rate (detecting OOD as in-distribution) for test data. We build on this framework to suggest a novel OOD procedure based on low-order statistics. Our method achieves comparable or better than state-of-the-art results on well-accepted OOD benchmarks without retraining the network parameters -- and at a fraction of the computational cost.

研究の動機と目的

• 自動運転や医療分野など、安全性が求められる応用分野におけるDNNの分布外（OOD）データに対する信頼性の低い予測という重要な課題に対処すること。
• 誤検出率に統計的保証がないヒューリスティックベースのOOD検出手法の限界を克服すること。
• 高いOOD検出性能を達成しつつ、制御された誤検出率を維持する手法を開発すること。
• 再訓練を必要とせず、計算効率の高いOOD検出手順を設計すること。

提案手法

• OOD検出を統計的仮説検定として定式化し、帰無仮説として入力が分布内であると仮定する。
• 検定統計量として、最終層の特徴量の平均と分散といった低次の統計量を用いる。
• 校正フェーズ中に、分布内サンプルの経験的分布から導かれたしきい値と検定統計量を比較する。
• 中心極限定理を活用して、帰無仮説下での検定統計量の標本分布を近似する。
• 事前に設定された有意水準により誤検出率を制御し、統計的信頼性を確保する。
• DNNのファインチューニングや再訓練を一切行わず、事前学習済みモデルからの推論時統計量に依存する。

実験結果

リサーチクエスチョン

• RQ1 OOD検出を統計的仮説検定として形式化することで、誤検出率を制御可能な保証を得られるか？
• RQ2 深層ネットワーク活性化の低次の統計量が、再訓練を伴わずに効果的かつ効率的なOOD検出を可能にするか？
• RQ3 提案手法は、性能と計算コストの面で、最先端のOOD検出技術と比較してどのように差がつくか？
• RQ4 本手法は、多様なデータ分布およびネットワークアーキテクチャにわたり、頑健性を維持するか？

主な発見

• 提案手法は、CIFAR-10 vs. SVHN や Tiny ImageNet といった標準ベンチマークにおいて、最先端の手法と同等またはそれ以上のOOD検出性能を達成した。
• 評価されたすべてのデータセットおよびネットワークアーキテクチャにおいて、有意水準によって制御された保証された誤検出率を維持した。
• 本手法の計算コストは、既存の手法と比較して顕著に低く、事前学習モデルからの推論時統計量のみを必要とした。
• DNNの再訓練やファインチューニングを一切必要とせず、元のモデルの性能とデプロイ効率をそのままで保持した。