[논문 리뷰] Partial and Asymmetric Contrastive Learning for Out-of-Distribution Detection in Long-Tailed Recognition

Haotao Wang, Aston Zhang외 5명|arXiv (Cornell University)|2022. 07. 04.

Anomaly Detection Techniques and Applications인용 수 10

한 줄 요약

이 논문은 장수분포 인식에서 표준 방법이 尾-클래스의 내분포 샘플과 OOD 샘플을 혼동함으로써 성능이 저하되는 문제를 해결하기 위해 부분적이고 비대칭적인 감독 대비 학습(PASCL)을 제안한다. PASCL은 대비 손실을 오직 尾-클래스에만 적용하고, 동일 클래스의 尾-클래스 샘플을 모아주며 OOD 샘플과는 떨어지도록 하여 비대칭 학습을 강제하며, 내분포 정확도 향상을 위해 보조 브랜치 미세조정을 사용한다. 이로 인해 CIFAR10-LT, CIFAR100-LT, ImageNet-LT에서 FPR과 정확도가 각각 1.29–7.89% 향상되어 최신 기술(SOTA)을 초월한다.

ABSTRACT

Existing out-of-distribution (OOD) detection methods are typically benchmarked on training sets with balanced class distributions. However, in real-world applications, it is common for the training sets to have long-tailed distributions. In this work, we first demonstrate that existing OOD detection methods commonly suffer from significant performance degradation when the training set is long-tail distributed. Through analysis, we posit that this is because the models struggle to distinguish the minority tail-class in-distribution samples, from the true OOD samples, making the tail classes more prone to be falsely detected as OOD. To solve this problem, we propose Partial and Asymmetric Supervised Contrastive Learning (PASCL), which explicitly encourages the model to distinguish between tail-class in-distribution samples and OOD samples. To further boost in-distribution classification accuracy, we propose Auxiliary Branch Finetuning, which uses two separate branches of BN and classification layers for anomaly detection and in-distribution classification, respectively. The intuition is that in-distribution and OOD anomaly data have different underlying distributions. Our method outperforms previous state-of-the-art method by $1.29\%$, $1.45\%$, $0.69\%$ anomaly detection false positive rate (FPR) and $3.24\%$, $4.06\%$, $7.89\%$ in-distribution classification accuracy on CIFAR10-LT, CIFAR100-LT, and ImageNet-LT, respectively. Code and pre-trained models are available at https://github.com/amazon-research/long-tailed-ood-detection.

연구 동기 및 목표

• 장수분포를 따르는 학습 데이터에서 尾-클래스 내분포 샘플이 OOD로 잘못 분류되는 문제로 인해 OOD 탐지 성능이著しく 떨어지는 현상을 해결하기 위해.
• 기존 OOD 탐지 방법이 특징 공간의 겹침으로 인해 尾-클래스 내분포 샘플과 OOD 샘플을 구분하지 못함을 규명하기 위해.
• 내분포와 OOD 특징를 명시적으로 분리하면서도 헤드-클래스의 분류 능력을 유지하는 대비 학습 프레임워크를 제안하기 위해.
• 배치 정규화와 분류 헤드 최적화를 분리함으로써 OOD 탐지 성능을 훼손하지 않은 채 내분포 분류 정확도를 향상시키기 위해.

제안 방법

• PASCL을 도입하여, 대비 손실을 오직 尾-클래스 내분포 샘플과 OOD 샘플에만 적용하고, 헤드-클래스에는 적용하지 않는다.
• 동일 클래스의 尾-클래스 샘플을 그룹화함으로써 비대칭성을 강제한다(양성 쌍), OOD 샘플은 음성 샘플로 간주하여 클러스터링을 피한다.
• 尾-클래스를 가장 적은 빈도로 발생하는 k%의 클래스로 정의한다(예: 기본적으로 k=50%). 이는 구분하기 어려운 尾-클래스 샘플에 집중된 부분적 대비 학습을 가능하게 한다.
• 보조 브랜치 미세조정(ABF)을 사용하여 OOD 탐지와 내분포 분류를 각각 전용 배치 정규화(BN) 및 분류 레이어로 학습시켜, 내분포와 OOD 데이터의 분포가 다름을 잘 반영한다.
• 분류에 대한 교차 엔트로피 손실과 특징 공간 분리에 대한 대비 손실을 조합하여 모델을 최적화하며, 각 작업 브랜치에 대해 별도의 BN 통계를 사용한다.
• 부분성, 비대칭성, ABF의 필요성을 검증하고 하이퍼파라미터(예: 尾-클래스 임계값 k)를 튜닝하기 위해 추론 분석을 실시한다.

실험 결과

연구 질문

• RQ1 기존 OOD 탐지 방법이 장수분포 학습 세트에서 성능이著しく 저하되는 이유는 무엇인가? 특히 尾-클래스 내분포 샘플과 OOD 샘플을 구분하지 못하기 때문이다.
• RQ2 대비 학습을 조정하여 尾-클래스 내분포 특징와 OOD 특징의 차이를 명시적으로 모델링함으로써 장수분포 인식에서 OOD 탐지 성능을 향상시킬 수 있는가?
• RQ3 OOD 샘플이 함께 모이지 않는 비대칭 대비 학습을 강제하면 모델 일반화 및 OOD 탐지 성능 향상에 기여하는가?
• RQ4 보조 브랜치 미세조정을 통해 배치 정규화와 분류 헤드 최적화를 분리하면 내분포 분류 정확도를 향상시키면서도 OOD 탐지 성능을 떨어뜨리지 않는가?
• RQ5 제안된 방법은 尾-클래스 임계값(k)의 선택에 얼마나 민감한가? 부분적 대비 학습에 포함할 적절한 클래스 비율은 얼마인가?

주요 결과

• PASCL은 CIFAR10-LT에서 FPR95 기준 1.29% 향상되었고, CIFAR100-LT에서는 1.45%, ImageNet-LT에서는 0.69% 향상되어 이전 SOTA를 초월한다.
• CIFAR10-LT에서는 내분포 분류 정확도가 3.24% 향상되었고, CIFAR100-LT에서는 4.06%, ImageNet-LT에서는 7.89% 향상되었다.
• 모든 클래스에 대비 손실을 적용할 경우 헤드-클래스 샘플의 지배로 성능 저하가 발생하므로, 오직 尾-클래스에만 적용하는 부분성은 필수적이다.
• OOD 샘플이 함께 모이지 않는 비대칭 대비 학습은 성능 향상에 기여하며, 특히 부분성과 결합할 경우 두드러진 효과가 있다.
• 보조 브랜치 미세조정(ABF)은 CIFAR10-LT에서 최대 4.17%p, ImageNet-LT에서는 4.12%p까지 내분포 정확도 향상을 이끌었고, 모델 크기 증가가 최소한이었다.
• 제안된 방법은 하이퍼파라미터 선택에 대해 뛰어난 내성성을 보이며, k=50%에서 최적 성능을 달성하고 k∈[40%,60%] 범위에서 안정적인 성능을 유지한다. 또한 ABF는 전체 모델 미세조정보다 성능이 뛰어나다.