[논문 리뷰] NECO: NEural Collapse Based Out-of-distribution detection

Mouïn Ben Ammar, Nacim Belkhir외 3명|arXiv (Cornell University)|2023. 10. 10.

Adversarial Robustness in Machine LearningComputer Science인용 수 3

한 줄 요약

NECO는 신경 붕괴 성질을 활용하는 새로운 후행(post-hoc) 이상치 검출(OOD) 방법으로, 특히 내분포(내부 분포) 특징의 기하학적 붕괴인 단순형 등각 타이트 프레임(ETF)과 내분포 및 외분포 데이터 간의 부각된 수직성에 기반한다. 샘플의 특징 벡터가 ETF 부분공간 내에서 상대 노름을 측정함으로써, NECO는 다양한 아키텍처와 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, 강력한 일반화 능력과 이론적 근거를 확보한다.

ABSTRACT

Detecting out-of-distribution (OOD) data is a critical challenge in machine learning due to model overconfidence, often without awareness of their epistemological limits. We hypothesize that ``neural collapse'', a phenomenon affecting in-distribution data for models trained beyond loss convergence, also influences OOD data. To benefit from this interplay, we introduce NECO, a novel post-hoc method for OOD detection, which leverages the geometric properties of ``neural collapse'' and of principal component spaces to identify OOD data. Our extensive experiments demonstrate that NECO achieves state-of-the-art results on both small and large-scale OOD detection tasks while exhibiting strong generalization capabilities across different network architectures. Furthermore, we provide a theoretical explanation for the effectiveness of our method in OOD detection. Code is available at https://gitlab.com/drti/neco

연구 동기 및 목표

• 딥 네URAL 네트워크에서 이상치 입력에 대해 모델이 여전히 과신하는 문제를 해결하기 위해.
• 후기 훈련 단계에서 내분포 데이터에서 관찰되는 일반적으로 알려진 신경 붕괴 현상이 이상치 데이터에도 나타나는지, 그리고 이를 검출에 활용할 수 있는지 탐구하기 위해.
• 재학습이나 추가 데이터가 필요 없고 아키텍처에 관계없이 적용 가능한 후행 OOD 검출 방법을 개발하기 위해.
• 제안된 방법의 효과성에 대한 이론적 기반을 신경 붕괴의 기하학적 성질에 기반하여 제공하기 위해.

제안 방법

• 내분포 클래스 평균이 신경 붕괴 조건에서 단순형 등각 타이트 프레임(ETF)을 이룰 때, 이들의 부분공간 내에서 샘플의 특징 벡터의 상대 노름을 기반으로 점수를 계산한다.
• 특징 벡터의 ETF 부분공간 내 노름을 전체 특징 벡터의 노름으로 정규화하여 스칼라 OOD 점수를 생성한다.
• 후기 훈련 단계에서 관찰된 내분포/외분포 간 수직성(NC5)을 활용하며, 훈련이 진행될수록 외분포 샘플이 ETF 기반의 기하학적 구조와 점점 더 수직이 되는 경향을 이용한다.
• 이 방법은 후행적이다: 미리 훈련된 모델을 사용하며, 미세조정이나 추가 데이터가 필요로 하지 않으며, 오직 이전층의 특징만을 기반으로 한다.
• 점수는 주로 클래스 평균이 ETF로 수렴하고, 가장 가까운 클래스 중심 분류로 단순화되는 신경 붕괴의 기하학적 성질에 기반한다.
• 이 방법은 모델 아키텍처나 하이퍼파라미터 튜닝에 대해 불변하며, ViT, Swin, ResNet 등의 다양한 모델 간 넓은 일반화를 가능하게 한다.

Figure 1: Convergence to ID/OOD orthogonality for ViT-B (left), Resnet-18 (right) both trained on CIFAR-10 as ID and tested in the presence of OOD data. Dashed purple lines indicate the end of warm-up steps in the case of ViT and learning rate decay epochs for ResNet-18.

실험 결과

연구 질문

• RQ1 신경 붕괴 현상이 이상치 데이터로까지 확장되며, 이를 OOD 검출에 활용할 수 있는가?
• RQ2 후기 훈련 단계에서 관찰된 내분포 및 외분포 특징 간 기하학적 수직성은 신뢰할 수 있는 OOD 신호로 사용될 수 있는가?
• RQ3 다양한 아키텍처에서 기존 후행 OOD 검출 방법과 비교해 NECO의 성능과 일반화 능력은 어떠한가?
• RQ4 NECO가 신경 붕괴 기하학에 기반해 이상치 샘플을 구분하는 데 효과적인 이론적 근거는 무엇인가?

주요 결과

• NECO는 openOOD 벤치마크에서 최신 기술 수준 성능을 달성했으며, ImageNet-1K에서 18개의 기준 방법보다 뛰어난 평균 AUROC 75.94%와 FPR95 65.55%를 기록했으며, 여러 OOD 데이터셋과 아키텍처에서 일관된 성능을 보였다.
• CIFAR-10/CIFAR-100 벤치마크에서 ViT-B/16를 사용해 SVHN을 이상치로 검출할 경우, 거의 완벽한 분리(AUROC > 89.5)를 달성하여 강력한 분류 능력을 입증했다.
• 다양한 아키텍처로의 일반화 능력이 뛰어나며, ViT-B/16에서 가장 높은 성능을 기록함으로써 더 강한 신경 붕괴를 보이는 경향이 있으며, 이는 OOD 검출 성능과 상관관계가 있음을 시사한다.
• ImageNet-R, ImageNet-C, Textures, iNaturalist 등의 다양한 OOD 벤치마크에서 일관된 성능을 보였으며, 여러 조합에서 AUROC 값이 80% 이상을 기록했다.
• NECO 점수 분포는 많은 설정에서 내분포와 외분포 샘플 간 명확한 분리를 보이며, 특히 ViT 모델에서는 이의 분류 능력이 검증되었다.
• 이론적 분석을 통해 NECO의 효과성이 내분포 특징의 기하학적 붕괴와 외분포 데이터가 ETF 부분공간에 대해 부각된 수직성을 가지는 데 기인함을 확인했다.

Figure 2: Feature projections on the first 2 principal components of a PCA fitted on CIFAR-10 (ID) using the ViT penultimate layer representation. OOD data are ImageNet-O (left), Textures (middle) and SVHN (right) . The Figure shows how NC1( 1 ) property is satisfied by ID data, and that OOD data li