[論文レビュー] ViM: Out-Of-Distribution with Virtual-logit Matching

Haoqi Wang, Zhizhong Li+2 more|arXiv (Cornell University)|Mar 21, 2022

Advanced Neural Network Applications被引用数 7

ひとこと要約

本稿では、特徴レベルの残差とクラス依存のログチットを組み合わせることで、特徴残差から仮想のOODログチットを生成し、スケーリングによって平均最大ログチットとマッチングさせる、新しい分布外（OOD）検出手法であるVirtual-logit Matching（ViM）を提案する。ViMはBiT-Sモデルを用いて4つの挑戦的なOODベンチマークで平均90.91%のAUROCを達成し、最先端の性能を発揮し、先行手法より4%優れている。

ABSTRACT

Most of the existing Out-Of-Distribution (OOD) detection algorithms depend on single input source: the feature, the logit, or the softmax probability. However, the immense diversity of the OOD examples makes such methods fragile. There are OOD samples that are easy to identify in the feature space while hard to distinguish in the logit space and vice versa. Motivated by this observation, we propose a novel OOD scoring method named Virtual-logit Matching (ViM), which combines the class-agnostic score from feature space and the In-Distribution (ID) class-dependent logits. Specifically, an additional logit representing the virtual OOD class is generated from the residual of the feature against the principal space, and then matched with the original logits by a constant scaling. The probability of this virtual logit after softmax is the indicator of OOD-ness. To facilitate the evaluation of large-scale OOD detection in academia, we create a new OOD dataset for ImageNet-1K, which is human-annotated and is 8.8x the size of existing datasets. We conducted extensive experiments, including CNNs and vision transformers, to demonstrate the effectiveness of the proposed ViM score. In particular, using the BiT-S model, our method gets an average AUROC 90.91% on four difficult OOD benchmarks, which is 4% ahead of the best baseline. Code and dataset are available at https://github.com/haoqiwang/vim.

研究の動機と目的

• 特徴、ログチット、ソフトマックス確率のいずれか1つの情報源に依存する既存のOOD検出手法の限界を是正するため、複数の情報源を統合すること。
• 1つの空間（例：特徴）では容易に検出可能だが、別の空間（例：ログチット）では検出困難な、OODサンプルの多様性に対する耐性を高めること。
• 再トレーニングを必要とせず、事前学習済みモデルに適用可能な、高速で推論効率の良いOODスコア関数を開発すること。
• ImageNet-1K用に大規模かつ人間がアノテートした現実的で信頼性の高いOODベンチマークを構築し、OOD検出手法の公平で意味のある評価を可能にすること。

提案手法

• ViMは、学習済み特徴の主成分部分空間に対して入力特徴の残差を計算することで、仮想のOODクラスを構築する。
• この残差は、学習サンプル全体の最大ログチットの平均に一致させるようにスケーリングされ、ログチットに変換される。
• OODスコアは、この仮想ログチットのソフトマックス確率として定義され、OODサンプルの信頼性の指標として機能する。
• 本手法は、特徴残差から得られるクラスに依存しない情報と、元のログチットから得られるクラス依存の情報を統合することで、相補的な検出を可能にする。
• スケーリング係数は、学習可能な定数であり、仮想ログチットの平均を学習セット全体の平均最大ログチットに一致させる。
• 本手法はCNNおよびビジョントランスフォーマーの両方と互換性があり、モデルの微調整や再トレーニングを必要としない。

Figure 1 : The AUROC (in percentage) of nine OOD detection algorithms applied to a BiT model trained on ImageNet-1K. The OOD datasets are ImageNet-O ( $x$ -axis) and OpenImage-O ( $y$ -axis). Methods marked with box $\Box$ use the feature space; methods with triangle $\triangle$ use the logit; and m

実験結果

リサーチクエスチョン

• RQ1 特徴レベルとログチットレベルの信号を組み合わせることで、単一情報源に依存する手法よりもOOD検出性能を向上させられるか？
• RQ2 提案された仮想ログチットマッチング機構は、既存のOODスコア関数と比較して、精度と効率の面でどのように差をつけるか？
• RQ3 大規模かつ人間がアノテートしたOODベンチマークの使用が、OOD検出モデルの評価にどのような影響を与えるか？
• RQ4 ViM手法は、ResNets やビジョントランスフォーマーなどの異なるアーキテクチャに一般化可能か？
• RQ5 特にビジョントランスフォーマーを対象とした場合、意味論的分類階層に基づくグループ化戦略は、ViMの性能にどのような影響を与えるか？

主な発見

• BiT-Sモデルに適用した場合、4つの困難なOODベンチマークで平均90.91%のAUROCを達成し、最良のベースラインより4ポイント優れている。
• 既存のベンチマークより8.8倍大きい、人間がアノテートしたOpenImage-Oデータセットでは、AUROCが97.61%、FPR95が12.61%を達成した。
• テストされた4つの最も競争力のあるOOD手法の中で、ViMは最も高速であり、OpenImage-Oでの推論時間は1.49秒であった。KLマッチングは249.97秒、マハラノビス距離法は2135.13秒を要した。
• 本手法はビジョントランスフォーマーにも適用可能で、ViTを用いた場合、OpenImage-Oで97.64%のAUROCを達成し、MSP や MaxGroup よりも多くの設定で優れた性能を示した。
• 意味論的分類階層に基づくグループ化戦略は、ViTにおけるViMの性能向上にほとんど寄与しなかった。これは、ViMの性能が階層構造に強く依存せず、頑健であることを示している。
• 可視化結果から、ViMは特徴ベース手法（例：Residual）やログチットベース手法（例：KLマッチング）とは異なるOODサンプルを検出することが確認され、相補的な検出能力を有することが裏付けられた。

Figure 2 : Comparison of AUROC for OOD detection algorithms that are based on probability (marked with diamond $\Diamond$ ), logit ( $\triangle$ ), and feature ( $\Box$ ) of 9 OOD detection algorithms applied to a BiT model trained on ImageNet-1K. The OOD datasets are Texture ( $x$ -axis) and iNatur