[論文レビュー] VOS: Learning What You Don't Know by Virtual Outlier Synthesis

Xuefeng Du, Zhaoning Wang+2 more|arXiv (Cornell University)|Feb 2, 2022

Anomaly Detection Techniques and Applications被引用数 77

ひとこと要約

tldr: VOS は特徴空間における仮想外れ値を合成してモデルを正則化し、実際の外れ値データなしでより良いOOD検出を実現するフレームワークを提示し、物体検出と画像分類の両方で強力な結果を達成します。

ABSTRACT

Out-of-distribution (OOD) detection has received much attention lately due to its importance in the safe deployment of neural networks. One of the key challenges is that models lack supervision signals from unknown data, and as a result, can produce overconfident predictions on OOD data. Previous approaches rely on real outlier datasets for model regularization, which can be costly and sometimes infeasible to obtain in practice. In this paper, we present VOS, a novel framework for OOD detection by adaptively synthesizing virtual outliers that can meaningfully regularize the model's decision boundary during training. Specifically, VOS samples virtual outliers from the low-likelihood region of the class-conditional distribution estimated in the feature space. Alongside, we introduce a novel unknown-aware training objective, which contrastively shapes the uncertainty space between the ID data and synthesized outlier data. VOS achieves competitive performance on both object detection and image classification models, reducing the FPR95 by up to 9.36% compared to the previous best method on object detectors. Code is available at https://github.com/deeplearning-wisc/vos.

研究の動機と目的

• 未知の事例下での堅牢なOOD検出を促進するために実際の外れ値データセットへの依存を回避する。
• 分布内性能を最適化しつつOOD不確定性を改善する二重目的を学習する。
• 特徴空間で有益な仮想外れ値を合成する実現可能な方法を提案する。
• 未知対応のトレーニング目的を開発し、IDとOODデータ間の不確実性サーフェスを形成する。
• 物体検出と画像分類のタスクの両方にOOD検出技術を拡張する。

提案手法

• 検出器から抽出された潜在空間におけるクラス条件付きガウスとしてID特徴表現をモデル化する。
• 特徴空間の各クラス条件付きガウスの低確率領域から仮想外れ値をサンプリングする。
• 潜在特徴量上の線形変換によって仮想外れ値の分類出力を定義する。
• 出力のエネルギー関数に基づく不確実性正則化損失を導入し、ロジスティック近似で最適化する。
• 推論時にインスタンスレベルでOOD検出を可能にするエネルギースコアを適用する。
• ハイパーパラメータで支配される不確実性正則化項と標準の検出損失を組み合わせて物体検出器を同時に訓練する。

実験結果

リサーチクエスチョン

• RQ1 未知のOut-Of-Distributionデータを実際の外れ値データセットなしで効果的に合成するにはどうすればよいか？
• RQ2 特徴空間の仮想外れ値は、ID精度を保ちつつOOD検出を改善する意味のある正則化信号を提供できるのか？
• RQ3 未知対応の目的は物体検出と画像分類の両方のOOD検知を改善するか？
• RQ4 外れ値合成の際に特徴空間とピクセル空間のサンプリングの影響は何か？

主な発見

• VOS は、IDデータのみを用いる強力なベースラインと比較して、物体検出と画像分類の両方で競争力のあるまたは優れたOOD検出性能を提供する。
• 特徴空間で仮想外れ値を合成することは、GANによるピクセル空間外れ値の生成やノイズの使用よりも効果的で安定している。
• エネルギーに基づく学習可能な不確実性損失（ロジスティック近似付き）は、IDと仮想外れ値の分離を改善するが追加のハイパーパラメータは不要。
• VOS はIDタスクの性能を保ちながらOOD検出の改善を達成する（例: mAPまたは分類精度）。
• 本アプローチはResNet-50、RegNetなどのアーキテクチャやPASCAL-VOC、BDD-100kといった複雑な物体検出ベンチマーク、標準的な画像分類ベンチマークなど、さまざまなタスクに適用可能である。