[論文レビュー] How to Exploit Hyperspherical Embeddings for Out-of-Distribution Detection?

Yifei Ming, Yiyou Sun+2 more|arXiv (Cornell University)|Mar 8, 2022

Domain Adaptation and Few-Shot Learning被引用数 24

ひとこと要約

本論文は、分散とコンパクト性の損失を用いたハイパースフィア埋め込みフレームワーク CIDER を提案し、OOD検出を改善し、従来法より優れた ID-OOD 分離性と FPR95 の改善を達成する。

ABSTRACT

Out-of-distribution (OOD) detection is a critical task for reliable machine learning. Recent advances in representation learning give rise to distance-based OOD detection, where testing samples are detected as OOD if they are relatively far away from the centroids or prototypes of in-distribution (ID) classes. However, prior methods directly take off-the-shelf contrastive losses that suffice for classifying ID samples, but are not optimally designed when test inputs contain OOD samples. In this work, we propose CIDER, a novel representation learning framework that exploits hyperspherical embeddings for OOD detection. CIDER jointly optimizes two losses to promote strong ID-OOD separability: a dispersion loss that promotes large angular distances among different class prototypes, and a compactness loss that encourages samples to be close to their class prototypes. We analyze and establish the unexplored relationship between OOD detection performance and the embedding properties in the hyperspherical space, and demonstrate the importance of dispersion and compactness. CIDER establishes superior performance, outperforming the latest rival by 19.36% in FPR95. Code is available at https://github.com/deeplearning-wisc/cider.

研究の動機と目的

• ハイパースフィア埋め込みを活用した表現学習による OOD 検出の改善を動機づける。
• 単位ハイパースフィア上でクラス間分散とクラス内コンパクト性を明示的に最適化する学習目的を設計する。
• 埋め込みの確率的解釈を von Mises-Fisher (vMF) 混合として提供し、OOD検出性能を説明する。
• クラス間分散の増加が ID 精度を犠牲にすることなく OOD 分離を改善することを実証する。

提案手法

• 単位ハイパースフィア上で埋め込みをモデル化し、von Mises-Fisher (vMF) 分布として解釈する。
• クラスプロトタイプ間の角距離を最大化する分散損失と、サンプルをクラスプロトタイプへ引き寄せるコンパクトネス損失の2つの損失を提案する。
• 結合した CIDER 目的関数 L_CIDER = L_dis + lambda_c * L_comp で学習する。
• 正規化された埋め込みの指数移動平均 (EMA) を用いてクラスプロトタイプ mu_c を更新する。
• 推論時にはノンパラメトリック距離（コサインベースの KNN）を用いて OOD スコアリングを行い、任意で Mahalanobis 比較を併用する。
• 埋め込み分散が ID-OOD 分離性に与える影響についての理論的・経験的分析を提供する。

実験結果

リサーチクエスチョン

• RQ1 ハイパースフィア埋め込みは、ID データと OOD データの分離性にどのような影響を与えるか？
• RQ2 クラスプロトタイプ間の明示的な分散は、ID 分類性能を損なうことなく OOD 検出を改善できるか？
• RQ3 分散とコンパクトネスを共同で最適化することが埋め込み幾何と OOD スコアに与える影響は？
• RQ4 vMF ベースの表現は、データセットとスケールを横断して OOD 検出に対して体系的な解釈と実用的な利点を提供しますか？

主な発見

• CIDER は OOD 検出性能が優れ、ResNet-34 を用いた CIFAR-100 で SSD+ に比べ FPR95 を 13.33% 減少させる。
• CIDER は CIFAR-10 で SupCon を上回り、複数の OOD データセットの平均で ID-OOD 分離性を相対的に 42.36% 向上させた。
• クラス間分散は強力な OOD 検出の鍵であり、分散損失をコンパクトネスと組み合わせると AUROC が約 2 ポイント改善される。
• CIDER はノンパラメトリック（KNN）およびパラメトリック（Mahalanobis）スコアリングの両方で一貫して OOD スコアを改善する。
• 埋め込み品質指標はクラス間分散の大幅な改善（SSD+より 12.03 度）と ID-OOD 分離性の改善を示す。
• CIDER は大規模タスク（ImageNet-100）やさまざまなバッチサイズとハイパーパラメータで依然として競争力がある。