[論文レビュー] RankFeat: Rank-1 Feature Removal for Out-of-distribution Detection

Song Yue, Nicu Sebe+1 more|arXiv (Cornell University)|Sep 18, 2022

Anomaly Detection Techniques and Applications被引用数 15

ひとこと要約

RankFeat は、高レベルの深層特徴から最大固有値およびその対応する固有ベクトルによって定義されるランク1成分を除去する、事後的な分布外（OOD）検出手法である。これにより、OODサンプルにおける過剰な予測信頼度が顕著に低減され、再訓練やアーキテクチャの変更を必要とせず、SOTA（最先端）の性能を達成する。前例となる手法と比較して、平均FPR95が17.90%低く、AUROCが5.44%高い。

ABSTRACT

The task of out-of-distribution (OOD) detection is crucial for deploying machine learning models in real-world settings. In this paper, we observe that the singular value distributions of the in-distribution (ID) and OOD features are quite different: the OOD feature matrix tends to have a larger dominant singular value than the ID feature, and the class predictions of OOD samples are largely determined by it. This observation motivates us to propose exttt{RankFeat}, a simple yet effective exttt{post hoc} approach for OOD detection by removing the rank-1 matrix composed of the largest singular value and the associated singular vectors from the high-level feature (\emph{i.e.,} $\mathbf{X}{-} \mathbf{s}_{1}\mathbf{u}_{1}\mathbf{v}_{1}^{T}$). exttt{RankFeat} achieves the \emph{state-of-the-art} performance and reduces the average false positive rate (FPR95) by 17.90\% compared with the previous best method. Extensive ablation studies and comprehensive theoretical analyses are presented to support the empirical results.

研究の動機と目的

• 実世界の展開において、深層学習モデルが分布外（OOD）データに対して過剰に信頼度の高い予測を行うという課題に対処する。
• 分布内（ID）とOODの特徴の間で、固有値分布に顕著な構造的差が存在することを特定する：OOD特徴は顕著に大きな支配的固有値を示す。
• 事前学習済みモデルの再訓練やアーキテクチャ変更を必要とせず、シンプルな事後的手法としてOOD検出を実現する。
• 多様なモデル、ネットワークの深さ、ベンチマークにわたるOOD検出の一般化性能とロバスト性を向上させる。

提案手法

• 事前学習済みモデルから高レベル特徴（例：ResNetのBlock 3またはBlock 4から）を抽出する。
• 特徴行列に対して切り詰めた特異値分解（SVD）を実行し、上位の特異値トリプレット σ₁, u₁, v₁ を特定する。
• 元の特徴行列からランク1行列 σ₁·u₁·v₁ᵀ を除去して、摂動を加えた特徴表現を取得する。
• ランク1成分を除去した特徴から得られるログティックを用いて、OODスコアを計算する。不確実性またはエネルギーベースのスコアリングを活用する。
• 複数のネットワーク層でこの手法を適用し、論理的平均化などの方法で特徴を統合することで性能を向上させる。
• 計算コストを低減しつつ性能に劣化を来さないよう、反復的パワー反復（PI）を用いて支配的固有ベクトルペアを効率的に近似する。

実験結果

リサーチクエスチョン

• RQ1 高レベル特徴における支配的固有値が、分布内と分布外のサンプルで顕著に異なるか？
• RQ2 特徴行列のランク1成分を除去することで、OODデータにおける過剰な予測信頼度を効果的に低減できるか？
• RQ3 RankFeatの性能は、異なるモデルやデータセットにおいて、最先端の事後OOD検出手法と比較してどのように異なるか？
• RQ4 ランク1除去がOOD検出を向上させる背後にある理論的根拠は何か？
• RQ5 異なる統合戦略やネットワーク層の選択が、最終的なOOD検出性能にどのように影響するか？

主な発見

• RankFeat は、前例となるSOTA手法と比較して、平均FPR95を17.90%低減し、優れたOOD検出性能を示している。
• ベンチマーク全体で平均AUROCが5.44%向上し、IDとOODデータ分布の分離性能が向上していることを示している。
• 広範なアブレーション実験により、ランク1成分のみを除去すると最良の性能が得られ、より高いランク（n > 1）の成分を除去すると性能が低下することが判明した。
• 論理的平均化による複数層（例：Block 3とBlock 4）からの特徴統合が、要素ごとの統合や特徴レベルの統合よりも優れた性能を達成した。
• 理論的分析により、ランク1除去がOODスコアの上界をより効果的に低減し、OOD特徴の統計的性質をランダム行列に近づけることが確認された。
• 計算効率が高く、PIベースの近似により48.41%の時間短縮が達成され、ReActと比較してコストはわずか4.89%高いが、バッチ推論をサポートしている。