[論文レビュー] Energy-based Out-of-distribution Detection

Weitang Liu, Xiaoyun Wang+2 more|arXiv (Cornell University)|Oct 8, 2020

Adversarial Robustness in Machine Learning参考文献 48被引用数 430

ひとこと要約

要約: 論文はOOD検出のためのエネルギースコアを提案し、softmaxベースの方法よりも性能が高いことを示し、推論時のスコアリング関数としてエネルギーを使用する方法、またはエネルギー空間をより良い分離のために形作る訓練可能な目的として使用する方法を示す。

ABSTRACT

Determining whether inputs are out-of-distribution (OOD) is an essential building block for safely deploying machine learning models in the open world. However, previous methods relying on the softmax confidence score suffer from overconfident posterior distributions for OOD data. We propose a unified framework for OOD detection that uses an energy score. We show that energy scores better distinguish in- and out-of-distribution samples than the traditional approach using the softmax scores. Unlike softmax confidence scores, energy scores are theoretically aligned with the probability density of the inputs and are less susceptible to the overconfidence issue. Within this framework, energy can be flexibly used as a scoring function for any pre-trained neural classifier as well as a trainable cost function to shape the energy surface explicitly for OOD detection. On a CIFAR-10 pre-trained WideResNet, using the energy score reduces the average FPR (at TPR 95%) by 18.03% compared to the softmax confidence score. With energy-based training, our method outperforms the state-of-the-art on common benchmarks.

研究の動機と目的

• オープンワールド展開における信頼性の高いOOD検出の必要性を動機づける。
• 入力密度と相関するエネルギーベースのフレームワークを提案し、分布内データとOODデータを区別する。
• 事前学習済み分類器を再訓練せずにエネルギースコアを使用する方法と、分布内データとOODデータ間のエネルギーギャップを大きくするようモデルを訓練する方法を示す。
• WideResNetを用いたCIFAR-10/CIFAR-100で、softmaxベースのスコアと比較してOOD検出性能が改善されることを示す。
• パラメータ選択に関する実用的な指針を提供し、Outlier ExposureおよびJEMベースのアプローチを含む既存手法と比較する。

提案手法

• エネルギー関数E(x;f) = -T log sum_i e^{f_i(x)/T} を、識別的分類器fから導出する。
• エネルギーを閾値とともに用いたOOD検出のスコアリング関数として-E(x;f)を使用する。
• log softmax信頼度が自由エネルギーの特別な場合であることを示し、エネルギーがなぜOOD検出でsoftmaxよりも優れるかを説明する。
• 標準的な交差エントロピーとヒンジ型エネルギー正則化を同時に最小化するエネルギー制約付き学習目的を提案し、分布内エネルギーとOODエネルギーの間にギャップを作る。
• ラベルなしOODデータを用いた微調整を、マージンm_inとm_outを用いる2つのヒンジ項で行い、分布内エネルギーをm_in以下、OODエネルギーをm_out以上へ押し出す。
• エネルギーに基づくスコアリングは推論時にパラメータを必要としない（T=1）ことを実証し、微調整の有無による推論時の使用を比較する。

実験結果

リサーチクエスチョン

• RQ1 エネルギーベースのスコアは、OOD検出のためのsoftmax信頼度に代わる理論的に根拠づけられ、実践的にも優れた代替となり得るか。
• RQ2 再訓練せずに事前学習済みモデルを用いた場合、エネルギースコアは標準のOODベンチマークでsoftmaxスコアと比べてどうなるか。
• RQ3 アウトライヤデータを用いたエネルギーベースの微調整は、分布内精度を損なうことなくOOD検出を改善できるか。
• RQ4 エネルギーのスケーリング（温度T）とエネルギーマージンパラメータはOOD検出性能にどのような影響を与えるか。
• RQ5 エネルギー基づくOOD検出は、生成モデルベースおよびハイブリッド手法と比べて性能と訓練安定性の点でどうか。

主な発見

• WideResNetを用いたCIFAR-10でエネルギースコアはsoftmax信頼度よりOOD検出で優れており、微調整なしでFPR95を平均約18.03%低下させた。
• ラベルなしのアウトライヤデータによるエネルギー基づく微調整はOOD指標をさらに改善し、CIFAR-10/CIFAR-100でOutlier Exposureより最大でFPR95を10.55%低減しつつ精度を維持した。
• 負のエネルギーは分布内データとOODデータの識別的分離を、softmaxスコアよりも明確に示すことができる。エネルギー分布は滑らかである。
• エネルギーベースの手法は、iSUN、Places365、Texture、SVHN、LSUN系統などの複数のOODベンチマークで、識別的OOD検出器や一部の生成モデルベース手法と比較してAUROC/AUPRで競争力がある、または優れている。
• 温度スケーリング（T>1）はエネルギーを用いたOOD検出を劣化させるため、本アプローチではT=1が望ましい。