[論文レビュー] POEM: Out-of-Distribution Detection with Posterior Sampling

Yifei Ming, Ying Fan+1 more|arXiv (Cornell University)|Jun 28, 2022

Anomaly Detection Techniques and Applications被引用数 16

ひとこと要約

POEMは、分布外（OOD）検出のための事後分布に基づく外れ値マイニングフレームワークを提案し、分布内（ID）データとOODデータの決定境界付近の情報を豊富に持つ外れ値を選択することで、モデルの汎化性能を向上させる。トムソンサンプリングを用いて探索と活用のバランスを図ることで、グリーディサンプリングベースラインに比べ、CIFAR-10とCIFAR-100でそれぞれ42.0%および24.2%のFPR95の相対的改善を達成し、最先端の性能を実現する。

ABSTRACT

Out-of-distribution (OOD) detection is indispensable for machine learning models deployed in the open world. Recently, the use of an auxiliary outlier dataset during training (also known as outlier exposure) has shown promising performance. As the sample space for potential OOD data can be prohibitively large, sampling informative outliers is essential. In this work, we propose a novel posterior sampling-based outlier mining framework, POEM, which facilitates efficient use of outlier data and promotes learning a compact decision boundary between ID and OOD data for improved detection. We show that POEM establishes state-of-the-art performance on common benchmarks. Compared to the current best method that uses a greedy sampling strategy, POEM improves the relative performance by 42.0% and 24.2% (FPR95) on CIFAR-10 and CIFAR-100, respectively. We further provide theoretical insights on the effectiveness of POEM for OOD detection.

研究の動機と目的

• 既存のOOD検出手法が、サンプリング戦略の悪さにより補助的な外れ値データを十分に活用できないという非効率性に対処すること。
• 分布内とOODデータの間のコンパクトな決定境界を学習することで、モデルの汎化性能を向上させること。
• 外れ値マイニングを、ID-OOD境界からの距離に基づく報酬関数を持つ逐次的意思決定問題として形式化すること。
• 探索と活用のバランスを取る、実装可能でエンドツーエンドで訓練可能なフレームワークを構築すること。
• 高境界スコアを持つ外れ値を選択するサンプル効率性の理論的裏付けを提供すること。

提案手法

• 行動が外れ値選択であり、報酬が境界スコアに基づく文脈的バンディット問題として外れ値マイニングを形式化する。
• IDとOODデータの決定境界に近い外れ値に高い値を割り当てる、新しい境界スコア指標を定義する。
• 外れ値選択の過程で探索と活用のバランスを図るために、トムソンサンプリング（事後分布サンプリング）を適用し、大規模な補助外れ値プールからの適応的サンプリングを可能にする。
• 深層ニューラルネットワークの特徴表現上でベイジアン線形回帰を用いて、計算不能な事後分布を近似する。
• 学習中に事後分布を定期的に更新することで、推定された決定境界を精緻化し、サンプリング品質を向上させる。
• 深層ニューラルネットワークとフレームワークをエンドツーエンドで統合し、分類器と外れ値選択戦略の共同最適化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 事後分布に基づくサンプリングによる外れ値マイニングは、ランダムまたはグリーディサンプリング戦略に比べ、OOD検出性能を向上させることができるか？
• RQ2 高境界スコアを持つ外れ値を選択することは、決定境界のコンパクト性と汎化性能にどのように影響を与えるか？
• RQ3 OOD検出において、高境界スコアを持つ外れ値のサンプル効率性の理論的裏付けは何か？
• RQ4 探索と活用のバランスを取るベイジアンフレームワークは、グリーディ手法に比べ、OOD検出のための外れ値マイニングで優れた性能を示せるか？
• RQ5 POEMの性能は、多様なOODベンチマークとデータセットにおいてどのようにスケーリングするか？

主な発見

• POEMは、標準的なOOD検出ベンチマークで最先端の性能を達成し、ランダムまたはグリーディサンプリングを用いる既存手法を上回る。
• CIFAR-10では、現在の最良のグリーディサンプリング手法に比べ、相対的にFPR95性能が42.0%向上した。
• CIFAR-100では、同じグリーディベースラインに比べ、相対的にFPR95性能が24.2%向上した。
• フレームワークは、ベースライン手法と同等の計算効率を維持しながら、強力な実験的性能を示した。
• 理論的分析により、高境界スコアを持つ外れ値を選択することで、無意味なサンプルの数を減らし、効果的な正則化に必要なサンプル数を削減できることを示した。
• POEMの事後分布サンプリングメカニズムにより、外れ値空間のより良い探索が可能となり、より強固で汎化性の高い決定境界が得られた。