[論文レビュー] GradOrth: A Simple yet Efficient Out-of-Distribution Detection with Orthogonal Projection of Gradients

Sima Behpour, Thang Doan+4 more|arXiv (Cornell University)|Aug 1, 2023

Anomaly Detection Techniques and ApplicationsComputer Science被引用数 3

ひとこと要約

GradOrthは、SVDを用いてインダタ（ID）データの活性から導出された低ランク部分空間に勾配を直交投影することにより、分布外（OOD）検出のための新規手法を提案する。勾配の直交投影のノルムを測定することで、IDデータ部分空間と相関が弱いサンプル（OODとされる）を特定し、最先端手法と比較してFPR95を2.71%〜8.05%まで低減する。

ABSTRACT

Detecting out-of-distribution (OOD) data is crucial for ensuring the safe deployment of machine learning models in real-world applications. However, existing OOD detection approaches primarily rely on the feature maps or the full gradient space information to derive OOD scores neglecting the role of most important parameters of the pre-trained network over in-distribution (ID) data. In this study, we propose a novel approach called GradOrth to facilitate OOD detection based on one intriguing observation that the important features to identify OOD data lie in the lower-rank subspace of in-distribution (ID) data. In particular, we identify OOD data by computing the norm of gradient projection on the subspaces considered important for the in-distribution data. A large orthogonal projection value (i.e. a small projection value) indicates the sample as OOD as it captures a weak correlation of the ID data. This simple yet effective method exhibits outstanding performance, showcasing a notable reduction in the average false positive rate at a 95% true positive rate (FPR95) of up to 8% when compared to the current state-of-the-art methods.

研究の動機と目的

• 安全上の重要な応用分野におけるディープラーニングモデルにおける信頼性の高いOOD検出の課題に対処すること。
• 全勾配空間やヒューリスティックなスパース化ではなく、インダタ（ID）データの最も情報量の多い勾配部分空間に注目することで、検出性能を向上させること。
• 再訓練を必要とせず、勾配幾何を利用した原理的で効率的かつ後処理可能なOOD検出手法を提供すること。
• OOD検出に重要な特徴は、IDデータからの勾配の低ランク部分空間に存在することを示すこと。

提案手法

• 本手法は、事前学習済みネットワークのインダタ（ID）データの小さなランダムサブセットに対して活性化を適用し、特異値分解（SVD）を用いてIDデータの低ランク部分空間を計算する。
• テストサンプルの全勾配を、学習済みのID部分空間に投影し、勾配の直交（垂直）成分のノルムを計算する。
• 大きな直交投影ノルムは、IDデータとの相関が弱いことを示し、そのサンプルがOODであると判断される。
• OODスコアは直交投影のノルムとして定義され、値が大きいほどOODの可能性が高いことを示す。
• 本手法は後処理型であり、再訓練を必要とせず、1回の順方向伝搬と勾配計算で各テストサンプルを処理できる。
• 本手法は効率的かつスケーラブルであり、小さなIDサブセットのSVDと標準的なバックプロパゲーションに依存する。

Figure 1 : The main idea of GradOrth : Measuring the orthogonal projection of the gradient of a testing sample onto a $k$ -dimension (e.g $k$ =2 here) subspace of pre-trained network on ID data, by the angle $\alpha$ between $\overrightarrow{g(x_{i})}=\nabla_{\theta^{L}}\mathcal{L}({\bm{\theta}}^{L}

実験結果

リサーチクエスチョン

• RQ1 インダタ（ID）活性化の低ランク分解により、OOD検出に最も有用な勾配部分空間を特定できるか？
• RQ2 これらの部分空間に勾配を直交投影することで、全勾配ノルムや特徴ベース手法と比較してOOD検出性能が向上するか？
• RQ3 勾配部分空間幾何を利用した、原理的で効率的かつ後処理可能なOOD検出手法を設計できるか？
• RQ4 FPR95とID精度の観点から、GradOrthは最先端手法と比較してどのように差をつけるか？

主な発見

• GradOrthは、複数のベンチマークで最先端のベースラインと比較して、FPR95を2.71%〜8.05%まで低減する。
• 本手法は、OOD検出の信頼性を著しく向上させる一方で、高いインダタ（ID）分類精度を維持する。
• アブレーションスタディの結果、全勾配空間やランダム部分空間と比較して、勾配の低ランク部分空間がOOD検出に優れていることが確認された。
• 理論的および実験的分析により、直交勾配投影がIDデータとの弱い相関を効果的に捉え、強力なOOD指標として機能することが裏付けられた。
• GradNorm、ODIN、MSPなどの手法と比較して、特に95%の真陽性率における誤検出（偽陽性）を低減する点で優れている。
• 本手法は計算的に効率的であり、モデルの微調整やアーキテクチャの変更を必要としない。

Figure 2 : Orthogonal Projection