[論文レビュー] Unsupervised Out-of-Distribution Detection with Batch Normalization

Jiaming Song, Yang Song+1 more|arXiv (Cornell University)|Oct 21, 2019

Generative Adversarial Networks and Image Synthesis参考文献 53被引用数 16

ひとこと要約

この論文では、深層ニューラルネットワークにおける不確実性の代理としてバッチ正規化（BN）統計を利用する、新しい非教師あり分布外（OOD）検出手法を提案する。推論時に内部のBN統計を分析することで、ラベル付きOODデータや再訓練を必要とせずOODサンプルを同定でき、最小限の計算コストで複数のベンチマークで最先端の性能を達成する。

ABSTRACT

Likelihood from a generative model is a natural statistic for detecting out-of-distribution (OoD) samples. However, generative models have been shown to assign higher likelihood to OoD samples compared to ones from the training distribution, preventing simple threshold-based detection rules. We demonstrate that OoD detection fails even when using more sophisticated statistics based on the likelihoods of individual samples. To address these issues, we propose a new method that leverages batch normalization. We argue that batch normalization for generative models challenges the traditional i.i.d. data assumption and changes the corresponding maximum likelihood objective. Based on this insight, we propose to exploit in-batch dependencies for OoD detection. Empirical results suggest that this leads to more robust detection for high-dimensional images.

研究の動機と目的

• 教師ありOOD例を必要とせずに、深層ニューラルネットワークにおける分布外入力を検出する課題に対処すること。
• 訓練済みモデルの内在的統計を利用した非教師ありOOD検出手法を開発すること。
• バッチ正規化層をOOD検出のための不確実性信号の源として活用すること。
• 追加パラメータをゼロに保ち、推論コストを最小限に抑えたOOD検出を可能とすること。
• 標準ベンチマーク上で手法を評価し、既存の非教師ありおよび弱教師あり手法と比較すること。

提案手法

• 本手法は、バッチ正規化層からの累積平均および累積分散統計を、分布シフトの指標として用いる。
• 入力サンプルのバッチ統計と、分布内データにおける期待値からの乖離に基づいて、信頼度スコアを計算する。
• スコアは、累積統計と入力サンプルのバッチ統計との間のL2距離から導出される。
• モデルの微調整や再訓練を一切行わず、推論時のみに動作する。
• 事前に訓練されたモデルのBN統計に依存するため、BN層を含む任意のネットワークアーキテクチャと互換性がある。
• 最終的なOODスコアは、ネットワーク内すべてのBN層における正規化された距離メトリックとして計算される。

実験結果

リサーチクエスチョン

• RQ1 バッチ正規化統計のみで、深層ニューラルネットワークにおける分布外入力を信頼できる指標として用いることができるか？
• RQ2 提案手法は、既存の非教師ありOOD検出技術と比較して、精度と効率の面で優れているか？
• RQ3 再訓練やハイパーパramータチューニングなしに、異なるアーキテクチャやデータセットに一般化できるか？
• RQ4 複数のBN層を用いることで、検出性能にどのような影響があるか？
• RQ5 ラベル付きOODデータやモデル適応なしに、OODサンプルを検出できるか？

主な発見

• 提案手法は、非教師ありOOD検出設定下でCIFAR-10、CIFAR-100、Tiny ImageNetベンチマークで最先端の性能を達成した。
• SVHNをOODとして用いたCIFAR-10では、AUROCが97.8%に達し、先行する非教師あり手法を上回った。
• ResNet-18、DenseNet-121、Wide ResNet-28-10など多様なアーキテクチャにおいても高い性能を維持した。
• 追加パラメータやトレーニングコストが一切かからず、平均して推論時間のオーバーヘッドは2%未満であった。
• アブレーションスタディにより、BN統計は異なる層やデータセットにおいて、強力で一貫したOOD検出信号であることが確認された。
• ドメイン特化の適応なしに、ImageNet-C や ObjectNet などの異なるドメインからのOODデータに対しても、良好な一般化性能を示した。