[論文レビュー] NECO: NEural Collapse Based Out-of-distribution detection

Mouïn Ben Ammar, Nacim Belkhir+3 more|arXiv (Cornell University)|Oct 10, 2023

Adversarial Robustness in Machine LearningComputer Science被引用数 3

ひとこと要約

NECOは、ニューラルコラプスの性質に着目した、新しい事後型分布外（OOD）検出手法である。具体的には、分布内特徴の幾何的コラプスが正単体等角フレーム（ETF）を形成し、分布内と分布外データの間で直交性が生じるという点に着目している。ETF部分空間内でのサンプルの相対ノルムを測定することで、多様なアーキテクチャとベンチマークで最先端の性能を達成し、強力な一般化性能と理論的裏付けを有する。

ABSTRACT

Detecting out-of-distribution (OOD) data is a critical challenge in machine learning due to model overconfidence, often without awareness of their epistemological limits. We hypothesize that ``neural collapse'', a phenomenon affecting in-distribution data for models trained beyond loss convergence, also influences OOD data. To benefit from this interplay, we introduce NECO, a novel post-hoc method for OOD detection, which leverages the geometric properties of ``neural collapse'' and of principal component spaces to identify OOD data. Our extensive experiments demonstrate that NECO achieves state-of-the-art results on both small and large-scale OOD detection tasks while exhibiting strong generalization capabilities across different network architectures. Furthermore, we provide a theoretical explanation for the effectiveness of our method in OOD detection. Code is available at https://gitlab.com/drti/neco

研究の動機と目的

• 深層畳み込みニューラルネットワークにおける分布外（OOD）検出という重要な課題に取り組む。特に、モデルがOOD入力に対して過剰に自信を持つという問題を解決することを目的とする。
• 通常、訓練の後期段階で分布内データにおいて観察されるニューラルコラプス現象が、OODデータに対しても現れるかどうかを調査し、検出に活用可能かどうかを検討すること。
• 再訓練や追加データを必要とせず、アーキテクチャに依存しない効率的な事後型OOD検出手法を開発すること。
• 神経的コラプスの幾何的性質に基づいた、提案手法の有効性に関する理論的基盤を提供すること。

提案手法

• 本手法は、分布内クラス平均がニューラルコラプス下で正単体等角フレーム（ETF）を形成するという性質に着目し、そのETF部分空間内における特徴ベクトルの相対ノルムに基づいてスコアを計算する。
• 特徴ベクトルのETF部分空間内でのノルムを、特徴ベクトル全体のノルムで正規化することで、スカラーのOODスコアを生成する。
• 本手法は、訓練が進むにつれて顕著になる分布内／分布外の直交性（NC5）を活用している。この直交性により、OODサンプルはETF構造に対して次第に直交的になる。
• 本手法は事後型である。微調整や追加データを一切使用せず、事前に訓練されたモデルの最終層の特徴を用いる。
• スコアは、主にクラス平均がETFに収束するというニューラルコラプスの幾何的性質に基づいている。また、最近傍クラス中心分類への簡素化も関連している。
• 本手法はモデルアーキテクチャーやハイパーパramータのチューニングに依存せず、ViT、Swin、ResNetなどの多様なモデルに広く一般化可能である。

Figure 1: Convergence to ID/OOD orthogonality for ViT-B (left), Resnet-18 (right) both trained on CIFAR-10 as ID and tested in the presence of OOD data. Dashed purple lines indicate the end of warm-up steps in the case of ViT and learning rate decay epochs for ResNet-18.

実験結果

リサーチクエスチョン

• RQ1 ニューラルコラプス現象は分布外データに対しても拡張可能であり、OOD検出に活用可能か？
• RQ2 訓練の後期段階で観察される分布内と分布外特徴の幾何的直交性は、信頼性の高いOOD信号として利用可能か？
• RQ3 アーキテクチャの多様性にわたる性能と一般化性能の観点から、NECOは既存の事後型OOD検出手法と比べてどのように差をつけるか？
• RQ4 NECOがニューラルコラプスの幾何構造に基づいてOODサンプルを識別できる理論的根拠は何か？

主な発見

• NECOは、openOODベンチマークで最先端の性能を達成し、ImageNet-1Kで18のベースライン手法を上回った。複数のOODデータセットとアーキテクチャをカバーした平均AUROCは75.94%、FPR95は65.55%を記録した。
• CIFAR-10/CIFAR-100ベンチマークでは、ViT-B/16を用いてSVHNをOODとして検出する際、ほぼ完全な分離（AUROC > 89.5）を達成し、優れた識別能力を示した。
• 本手法はアーキテクチャにわたる一般化性能に優れている。ViT-B/16が最高の性能を示しており、これはより強いニューラルコラプスを示していることと相関しており、OOD検出性能の向上と関連している。
• ImageNet-R、ImageNet-C、Textures、iNaturalistなど多様なOODベンチマークでも一貫した性能を示し、いくつかの組み合わせでAUROCが80%以上を記録した。
• NECOスコアの分布は、多くの設定で分布内と分布外のサンプルに明確な分離を示しており、特にViTモデルではその識別能力が顕著に裏付けられている。
• 理論的分析により、NECOの有効性は、分布内特徴の幾何的コラプスと、OODデータがETF部分空間に対して出現する直交性に起因することが確認された。

Figure 2: Feature projections on the first 2 principal components of a PCA fitted on CIFAR-10 (ID) using the ViT penultimate layer representation. OOD data are ImageNet-O (left), Textures (middle) and SVHN (right) . The Figure shows how NC1( 1 ) property is satisfied by ID data, and that OOD data li