[論文レビュー] Density of States Estimation for Out-of-Distribution Detection

Warren R. Morningstar, Cusuh Ham+4 more|arXiv (Cornell University)|Jun 16, 2020

Anomaly Detection Techniques and Applications参考文献 31被引用数 14

ひとこと要約

この論文は、分布外（OOD）検出のための新しい教師なし手法DoSEを提案する。DoSEは、尤度に依存せず、統計力学の「状態密度（DOS）」の概念を用いてモデル統計の典型性を評価する。事前学習済みモデルからの要約統計に非パラメトリック密度推定器を適用することで、ラベルデータやOOD例を必要とせず、OODベンチマークで最先端の性能を達成する。

ABSTRACT

Perhaps surprisingly, recent studies have shown probabilistic model likelihoods have poor specificity for out-of-distribution (OOD) detection and often assign higher likelihoods to OOD data than in-distribution data. To ameliorate this issue we propose DoSE, the density of states estimator. Drawing on the statistical physics notion of ``density of states,'' the DoSE decision rule avoids direct comparison of model probabilities, and instead utilizes the ``probability of the model probability,'' or indeed the frequency of any reasonable statistic. The frequency is calculated using nonparametric density estimators (e.g., KDE and one-class SVM) which measure the typicality of various model statistics given the training data and from which we can flag test points with low typicality as anomalous. Unlike many other methods, DoSE requires neither labeled data nor OOD examples. DoSE is modular and can be trivially applied to any existing, trained model. We demonstrate DoSE's state-of-the-art performance against other unsupervised OOD detectors on previously established ``hard'' benchmarks.

研究の動機と目的

• 尤度ベースの手法がOOD検出で失敗する問題に対処する。特に、分布外入力が分布内データよりも高い尤度を割り当てられる場合があること。
• 複数の要約統計を用いて、テストサンプルの典型性を訓練データに対して測定することで、尤度の直接比較を避ける。
• 再訓練やハイパーパrameterチューニングなしに、任意の事前学習済み生成モデルに適用可能なモジュラーで教師なしのOOD検出フレームワークを構築する。
• 訓練分布における統計の出現頻度として測定される典型性は、モデル尤度よりも信頼性の高いOOD指標であることを示す。

提案手法

• DoSEは、カーネル密度推定（KDE）やワンクラスSVMなどの非パラメトリック密度推定器を用いて、分布内データのさまざまな要約統計の状態密度（DOS）を推定する。
• テストサンプルは、推定されたDOS下での統計の典型性を測定することで評価され、低サポート領域の点はOODとマークされる。
• この手法はモジュラーであり、β-VAE や Glow などの任意の事前学習済み生成モデルに、モデル統計（例：潜在表現、対数尤度、成分統計）を抽出することで適用可能である。
• 尤度の直接比較を避けるために、訓練セットにおける観測統計の出現頻度に注目し、統計力学における典型性の概念に整合する。
• ノルム、最初の座標、最大座標などの複数の統計量を用いることで、尤度は高いが典型性に欠ける分布外入力をより強固に検出可能になる。
• ラベルデータやOOD例へのアクセスを必要としないため、実世界の展開に適している。

実験結果

リサーチクエスチョン

• RQ1 訓練分布におけるモデル統計の出現頻度は、モデル尤度よりも信頼性の高いOOD検出信号として機能するか？
• RQ2 なぜ尤度ベースの手法はOOD検出で失敗するのか。特に、OODデータが分布内データよりも高い尤度を示す場合があるのはなぜか？
• RQ3 非パラメトリック密度推定による統計の典型性測定に基づく手法は、尤度ベースのベースラインを上回るOOD検出性能を達成できるか？
• RQ4 提案されたDoSEは、CIFAR-10 vs. SVHN や CelebA vs. CIFARs といった挑戦的なベンチマークを含む、多様なデータセットペアに対して堅牢か？
• RQ5 DoSEはOOD例やラベルを一切必要とせず、教師なしOOD検出手法として最先端の性能を達成できるか？

主な発見

• DoSEは、標準ベンチマークにおいて教師なしOOD検出手法として最先端の性能を達成し、TT や WAIC などの尤度ベースのベースラインを上回る。
• CIFAR-10 → SVHN や CelebA → CIFARs といった挑戦的なベンチマークでも、DoSEは高いAUROCスコアを維持する。一方、TTは尤度に依存するためAUROC ≈ 0.6に留まり失敗する。
• 尤度は高いが統計的プロファイルが典型でない分布外サンプル（例：高コントラストや不規則なテクスチャを持つ画像）を効果的に特定する。
• この手法は多様なデータセットペアに対して堅牢であり、尤度ベース手法の根本的欠陥（高尤度のOODデータを分布内と誤分類する）を回避する。
• 定性的な分析から、DoSEは高コントラストや異常な色のパターンを持つ画像をOODとしてマークしており、意味のある統計的逸脱に敏感であることが示された。
• DoSEは、完全に教師なしでOOD例やラベルを一切必要としないにもかかわらず、最先端の教師あり手法と同等の性能を達成した。