[논문 리뷰] RankFeat: Rank-1 Feature Removal for Out-of-distribution Detection

Song Yue, Nicu Sebe외 1명|arXiv (Cornell University)|2022. 09. 18.

Anomaly Detection Techniques and Applications인용 수 15

한 줄 요약

RankFeat는 사전 학습된 고수준 딥 특징에서 가장 큰 특이값과 그에 해당하는 특이벡터로 정의되는 랭크-1 성분을 제거하는 후행적(후처리) 이상치 탐지 방법이다. 이를 통해 이상치 샘플에 대한 과신임 예측을 크게 감소시켜, 기존 방법보다 평균 FPR95가 17.90% 낮고 AUROC가 5.44% 높은 최신 기술 수준의 성능을 달성한다.

ABSTRACT

The task of out-of-distribution (OOD) detection is crucial for deploying machine learning models in real-world settings. In this paper, we observe that the singular value distributions of the in-distribution (ID) and OOD features are quite different: the OOD feature matrix tends to have a larger dominant singular value than the ID feature, and the class predictions of OOD samples are largely determined by it. This observation motivates us to propose exttt{RankFeat}, a simple yet effective exttt{post hoc} approach for OOD detection by removing the rank-1 matrix composed of the largest singular value and the associated singular vectors from the high-level feature (\emph{i.e.,} $\mathbf{X}{-} \mathbf{s}_{1}\mathbf{u}_{1}\mathbf{v}_{1}^{T}$). exttt{RankFeat} achieves the \emph{state-of-the-art} performance and reduces the average false positive rate (FPR95) by 17.90\% compared with the previous best method. Extensive ablation studies and comprehensive theoretical analyses are presented to support the empirical results.

연구 동기 및 목표

• 실제 배포 환경에서 딥 러닝 모델이 이상치 데이터에 대해 과신임 예측을 하는 문제를 해결한다.
• 내재된(내부) 데이터(ID)와 이상치 데이터(OOD)의 특이값 분포 간 핵심적인 구조적 차이를 규명한다: OOD 특징은 뚜렷하게 큰 주요 특이값을 보인다.
• 사전 학습된 모델의 재학습이나 아키텍처 변경 없이도 적용 가능한 단순한 후행적 이상치 탐지 방법을 개발한다.
• 다양한 모델, 네트워크 깊이 및 기준 평가 기준에서 이상치 탐지의 일반화 능력과 강건성을 향상시킨다.

제안 방법

• 사전 학습된 모델에서 고수준 특징(예: ResNet의 Block 3 또는 4에서 추출)을 추출한다.
• 특징 행렬에 대해 잘라낸 특이값 분해(Truncated SVD)를 수행하여 최상위 특이삼중항(σ₁, u₁, v₁)을 고립한다.
• 원본 특징 행렬에서 랭크-1 행렬 σ₁·u₁·v₁ᵀ를 제거하여 변형된 특징 표현을 얻는다.
• 랭크-1 제거 특징에서 유도된 로지트를 사용해 이상치 점수를 계산하며, 불확실성 또는 에너지 기반 점수 기법을 활용한다.
• 여러 네트워크 레이어에서 방법을 적용하고, 로지트 평균화 등으로 특징을 융합하여 성능을 향상시킨다.
• 계산 비용을 줄이되 성능 저하 없이 효율적으로 주요 특이벡터 쌍을 근사하기 위해 반복적 파wr 이터레이션(PI)을 사용한다.

실험 결과

연구 질문

• RQ1 고수준 특징에서 내재된 데이터(ID)와 이상치 데이터(OOD) 간 주요 특이값이 유의미하게 다를까?
• RQ2 특징 행렬의 랭크-1 성분을 제거하는 것이 이상치 데이터에 대한 과신임 예측을 효과적으로 줄일 수 있을까?
• RQ3 RankFeat의 성능은 다양한 모델과 데이터셋에서 최신 기술 수준의 후행적 이상치 탐지 방법과 비교해 어떻게 될까?
• RQ4 랭크-1 제거가 이상치 탐지 성능 향상에 기여하는 이론적 근거는 무엇일까?
• RQ5 다양한 융합 전략과 네트워크 레이어 선택은 최종 이상치 탐지 성능에 어떤 영향을 미칠까?

주요 결과

• RankFeat는 이전 최신 기술 수준 방법 대비 평균 FPR95를 17.90% 감소시켜 이상치 탐지 성능이 뛰어나다는 것을 입증한다.
• 기준 평가 기준 전반에서 평균 AUROC가 5.44% 향상되어 ID 및 OOD 데이터 분포 간 분리 능력이 향상됨을 나타낸다.
• 광범위한 추상화 분석 결과, 랭크-1 성분만 제거할 경우 성능이 최고로 높으며, 랭크-1을 초과하는 성분(n > 1)을 제거할 경우 성능 저하가 발생한다.
• 로지트 평균화를 통한 레이어 간 특징 융합(예: Block 3 및 Block 4)이 요소 수준 또는 특징 수준 융합보다 성능이 뛰어나다.
• 이론적 분석을 통해 랭크-1 제거가 이상치 점수의 상한선을 더 효과적으로 감소시키며, 이상치 특징 통계가 무작위 행렬에 더 가까워짐을 확인했다.
• 계산 비용이 효율적이며, PI 기반 근사로 48.41%의 시간 절감을 이룰 수 있었고, ReAct 대비 비용은 4.89% 뿐 높을 뿐이며 배치 추론을 지원한다.