[論文レビュー] Non-Parametric Outlier Synthesis

Leitian Tao, Xuefeng Du+2 more|arXiv (Cornell University)|Mar 6, 2023

Anomaly Detection Techniques and Applications被引用数 6

ひとこと要約

本稿では、分布に依存しないパラメトリックな仮定を必要としない、非パラメトリックな外れ値合成（NPOS）という新しいフレームワークを提案する。インダゥストリー（ID）埋め込みの分布を仮定せず、k-NN距離に基づく非パラメトリック密度推定を用いて境界付近のID埋め込みを同定し、それらを中心としたガウスカーネルを用いた再帰的サンプリングにより外れ値を合成することで、同じCLIP-B/16設定下でFPR95を41.87%から5.76%まで低減し、最先端のOOD検出性能を達成した。

ABSTRACT

Out-of-distribution (OOD) detection is indispensable for safely deploying machine learning models in the wild. One of the key challenges is that models lack supervision signals from unknown data, and as a result, can produce overconfident predictions on OOD data. Recent work on outlier synthesis modeled the feature space as parametric Gaussian distribution, a strong and restrictive assumption that might not hold in reality. In this paper, we propose a novel framework, Non-Parametric Outlier Synthesis (NPOS), which generates artificial OOD training data and facilitates learning a reliable decision boundary between ID and OOD data. Importantly, our proposed synthesis approach does not make any distributional assumption on the ID embeddings, thereby offering strong flexibility and generality. We show that our synthesis approach can be mathematically interpreted as a rejection sampling framework. Extensive experiments show that NPOS can achieve superior OOD detection performance, outperforming the competitive rivals by a significant margin. Code is publicly available at https://github.com/deeplearning-wisc/npos.

研究の動機と目的

• 未知のデータに対して教師なしの状況で実世界のMLデプロイメントにおけるOOD検出の課題に対処すること。
• 従来の外れ値合成手法（例：VOS）で見られる制限的なパラメトリックなガウス分布仮定を克服すること。
• 信頼性の高い合成OODデータを生成できる柔軟で分布に依存しないフレームワークを構築すること。
• 不確実性正則化を用いたOOD分離により、IDとOODデータ間のコンパクトな意思決定境界を学習することでモデルの頑健性を向上させること。
• トレーニング時にIDデータのみを用いて、大規模かつゼロショット設定でも効果的なOOD検出を可能にすること。

提案手法

• 最近接近傍距離に基づく非パラメトリックk-NN密度推定を用いて、境界付近のID埋め込みを同定する。
• 境界付近のID埋め込みを中心とした多次元ガウスカーネルからサンプリングすることで、人工的な外れ値を合成する。
• 尤度が低い合成外れ値のみを保持するため、再帰的サンプリングを適用し、それらがOOD領域に位置することを保証する。
• 外れ値合成プロセスを再帰的サンプリングフレームワークとして定式化し、数学的にレベルセット推定を近似する。
• ID分類と特徴のコンパクト性を目的とする損失、および不確実性正則化によるOOD分離を目的とする損失の二重損失を用いて、モデルをエンドツーエンドで訓練する。
• クラス重心に向かってサンプルを引き寄せるように最適化することで、密度推定の質を向上させ、識別可能なID表現を高次元で得る。

Figure 1: Illustration of our non-parametric outlier synthesis ( NPOS ). (a) Embeddings of ID data are optimized using Equation 8 , which facilitates learning distinguishable representations. (b) Boundary ID embeddings are selected based on the non-parametric $k$ -NN distance. (c) Outliers are synth

実験結果

リサーチクエスチョン

• RQ1 IDデータに特定の分布を仮定しない非パラメトリックな外れ値合成は、パラメトリック手法を上回るOOD検出性能を達成できるか？
• RQ2 非パラメトリック密度推定に基づく再帰的サンプリングは、OOD検出の意思決定境界学習をどのように改善するか？
• RQ3 NPOSは、異なるモデルアーキテクチャーやデータセット（例：ImageNetを含む）にどの程度一般化可能か？
• RQ4 標準的なファインチューニングにMSPスコアを用いる場合と比較して、NPOSはOODサンプルにおける過信度を顕著に低減できるか？
• RQ5 同一のトレーニングおよび評価条件下で、Fortら（2021）やVOS（Duら、2022c）といった最先端手法と比較して、NPOSの性能はどの程度優れているか？

主な発見

• 同じ設定下でCLIP-B/16をファインチューニングした際、NPOSはFPR95をFortら（2021）の41.87%から5.76%まで低減し、36.11%の改善を達成した。
• NPOSはパラメトリックなVOSベースラインをFPR95で13.40%上回り、非パラメトリックな外れ値合成の優位性を確認した。
• ゼロショットおよびファインチューニング済みモデルの両方で優れた性能を発揮し、ImageNetを含む複数のデータセットでもスケーラビリティと頑健性を示した。
• アブレーションスタディにより、非パラメトリック密度推定と再帰的サンプリングが性能向上に不可欠な要素であることが確認された。
• フレームワークはエンドツーエンドでトレーニング可能であり、ID分類とOOD分離の両目的を最適化することで収束した。
• コード、データセット、モデルのチェックポイントはhttps://github.com/deeplearning-wisc/nposで公開されており、再現性が保証されている。

Figure 2: (a) Ablation study on the regularization weight $\alpha$ on $R_{\textrm{open}}$ . (b) Ablation on the variance $\sigma^{2}$ for synthesizing outliers in Equation 5 . (c) Ablation on the $k$ for the $k$ -NN distance. The numbers are FPR95. The ID training dataset is ImageNet-100.