[論文レビュー] A statistical framework for efficient out of distribution detection in deep neural networks

Matan Haroush, Tzviel Frostig+2 more|arXiv (Cornell University)|Feb 25, 2021

Adversarial Robustness in Machine Learning被引用数 5

ひとこと要約

この論文は、p値を用いて第一種誤りの制御を保証する、深層ニューラルネットワークにおける分布外（OOD）検出のための統計的仮説検定フレームワークを提案する。すべてのネットワーク層にわたる非適合性測度を集約し、MaSF検出器を導入することで、再訓練やテスト分布に関する事前知識が不要な状態で、先行手法と比較して35倍高速な推論を達成しながら、最先端のOOD検出精度を実現する。

ABSTRACT

Background. Commonly, Deep Neural Networks (DNNs) generalize well on samples drawn from a distribution similar to that of the training set. However, DNNs' predictions are brittle and unreliable when the test samples are drawn from a dissimilar distribution. This is a major concern for deployment in real-world applications, where such behavior may come at a considerable cost, such as industrial production lines, autonomous vehicles, or healthcare applications. Contributions. We frame Out Of Distribution (OOD) detection in DNNs as a statistical hypothesis testing problem. Tests generated within our proposed framework combine evidence from the entire network. Unlike previous OOD detection heuristics, this framework returns a $p$-value for each test sample. It is guaranteed to maintain the Type I Error (T1E - incorrectly predicting OOD for an actual in-distribution sample) for test data. Moreover, this allows to combine several detectors while maintaining the T1E. Building on this framework, we suggest a novel OOD procedure based on low-order statistics. Our method achieves comparable or better results than state-of-the-art methods on well-accepted OOD benchmarks, without retraining the network parameters or assuming prior knowledge on the test distribution -- and at a fraction of the computational cost.

研究の動機と目的

• 自律走行車両や医療分野など、安全が求められる応用分野において、DNNの分布外（OOD）入力に対する脆弱性を是正すること。
• 既存のOOD検出手法の限界、すなわち統計的保証の欠如、高い計算コスト、OODデータに関する事前知識への依存を克服すること。
• 各テストサンプルに対して有効なp値を提供するフレームワークを構築し、帰無仮説（インディストリビューションデータ）のもとで第一種誤りを制御すること。
• 低次の統計量を活用し、パラメータフリーな効率的なOOD検出手法を設計し、多様なベンチマークで高い精度を維持すること。
• 複数の検出器を統合しながら誤り制御を保持できるようにし、計算リソースが制限された環境における実用的展開を可能にすること。

提案手法

• OOD検出を統計的仮説検定問題として形式化し、2つの帰無仮説を検証する：(1) サンプルが訓練クラスのいずれかの分布から抽出されたものである、(2) サンプルが予測クラスの分布から抽出されたものである。
• DNNの全層にわたり有効な非適合性測度を構築し、正規化および集約することでグローバルな検定統計量を形成する。
• Simes法およびFisher法の組み合わせ手法を用いて、複数層からのp値を統合し、検出力の向上と第一種誤りの制御を両立する。
• 低次の統計量（例：層別p値の最大値と平均値）に基づく新しい検出器であるMaSF（Max-Simes-Fisher）を提案し、計算コストを最小限に抑える。
• 再訓練や事前学習済みDNNの変更を必要としない非パラメトリックな順応的推論アプローチを採用する。
• 構造的スパarsityと特徴量サンプリングを適用することで、さらに推論コストを低減し、リアルタイムでの展開を可能にする。

実験結果

リサーチクエスチョン

• RQ1 DNNにおけるOOD検出を、有効なp値を備えた統計的仮説検定問題として厳密に定式化できるか？
• RQ2 非適合性測度を多層にわたって集約することで、単一層手法と比較してOOD検出性能を顕著に向上させられるか？
• RQ3 低次の統計量に基づく検出器が、計算コストを桁違いに削減しつつもSOTAの性能を達成できるか？
• RQ4 複数のOOD検出器を統一フレームワーク内で統合しても、第一種誤りの制御が維持できるか？
• RQ5 OOD分布に関する事前知識やネットワークの再訓練なしに、高い検出精度を維持できるか？

主な発見

• 提案フレームワークは、OOD検出における第一種誤りを制御することを保証し、インディストリビューションサンプルが誤ってOODとして特定されないことを保証する。
• 多層非適合性集約により、単一層検出器と比較して平均で50%の精度向上が達成された。
• MaSF検出器は、Leeら（2018）が提示した標準ベンチマークを含め、最先端の手法と同等またはそれ以上のOOD検出性能を達成した。
• MaSFの推論速度は、既存手法と比較して35倍高速であり、リアルタイムおよびリソース制限のある応用に非常に適している。
• フレームワークにより、複数の特化型検出器を統合可能であり、第一種誤りの増大を防ぎつつ、多様なOODパターンの適応的検出を可能にする。
• 再訓練やOODデータに関する事前知識、DNNアーキテクチャの変更なしに、本手法が有効であることが示された。