[논문 리뷰] Unbiased Supervised Contrastive Learning

Carlo Alberto Barbano, Benoît Dufumier외 3명|arXiv (Cornell University)|2022. 11. 10.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 편향된 데이터를 다룰 때 기존 손실 함수(예: SupCon)의 한계를 규명하는 새로운 이론적 프레임워크를 제안한다. $\alpha$-SupInfoNCE는 긍정-부정 샘플 간 분리도를 향상시킨 마진 기반 대비 손실이며, FairKL은 탈편향화를 위한 정규화 손실이다. 이 방법은 CIFAR-10, CIFAR-100, ImageNet과 같은 편향된 비전 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, 특히 극단적인 데이터 편향 조건에서도 뛰어난 성능을 보인다.

ABSTRACT

Many datasets are biased, namely they contain easy-to-learn features that are highly correlated with the target class only in the dataset but not in the true underlying distribution of the data. For this reason, learning unbiased models from biased data has become a very relevant research topic in the last years. In this work, we tackle the problem of learning representations that are robust to biases. We first present a margin-based theoretical framework that allows us to clarify why recent contrastive losses (InfoNCE, SupCon, etc.) can fail when dealing with biased data. Based on that, we derive a novel formulation of the supervised contrastive loss (epsilon-SupInfoNCE), providing more accurate control of the minimal distance between positive and negative samples. Furthermore, thanks to our theoretical framework, we also propose FairKL, a new debiasing regularization loss, that works well even with extremely biased data. We validate the proposed losses on standard vision datasets including CIFAR10, CIFAR100, and ImageNet, and we assess the debiasing capability of FairKL with epsilon-SupInfoNCE, reaching state-of-the-art performance on a number of biased datasets, including real instances of biases in the wild.

연구 동기 및 목표

• 임의의 특징가치가 레이블과 상관관계를 가지는 편향된 데이터셋에서 강건하고 편향 없는 표현을 학습하는 문제를 해결한다.
• 낮은 훈련 손실을 기록함에도 불구하고 데이터 편향을 다루는 데서 기존의 대비 손실(예: SupCon, InfoNCE)의 이론적 한계를 규명한다.
• 편향을 공식적으로 특성화하고 새로운 정규화 제약 조건을 유도하기 위해 통합된 메트릭 학습 프레임워크를 개발한다.
• $\alpha$-SupInfoNCE를 제안하며, 이는 다수의 양성 샘플이 존재하는 지도 학습을 위한 마진 인식 대비 손실의 일반화된, 마진 제어된 확장이다.
• FairKL을 도입하며, 이는 극단적인 데이터 편향 조건에서도 효과적인 새로운 탈편향 정규화 손실로, 어떤 대비나 비대비 손실에도 적용 가능하다.

제안 방법

• 표현 공간 내의 거리 제약 조건을 통해 대비 손실을 분석하기 위한 마진 기반 이론적 프레임워크를 개발한다.
• 기존 손실들(InfoNCE, SupCon)을 메트릭 학습 프레임워크 내에서 재구성하여, SupCon 내에 숨겨진 비대비 제약 조건을 드러낸다.
• $\alpha$-SupInfoNCE를 제안하며, 이는 지도 학습에서 다수의 양성 샘플을 고려한 InfoNCE의 일반화된 마진 제어 확장이다.
• 편향에 맞는 샘플과 편향에 반하는 샘플 간의 표현 거리가 동일하도록 강제하는 정규화 손실 FairKL을 설계한다.
• 훈련 중에 $\alpha$-SupInfoNCE와 FairKL을 함께 적용하며, 프로젝션 헤드를 사용할 경우 표현 공간과 프로젝션된 공간 양쪽에서 최적화를 수행한다.
• 아블레이션 연구와 하이퍼파라미터 분석을 통해 주 손실과 FairKL 정규화 항 사이의 트레이드오���을 조정한다.

실험 결과

연구 질문

• RQ1 왜 표준 대비 손실(예: SupCon)은 편향된 데이터에서 훈련 손실이 최소화되어도 편향 없는 표현을 학습하지 못하는가?
• RQ2 마진 기반 공식화는 데이터 편향 조건 하에서 지도 기반 대비 학습의 강건성을 어떻게 향상시킬 수 있는가?
• RQ3 표현 학습에서 편향의 공식적인 메트릭 기반 특성화는 무엇이며, 이를 탈편향화에 어떻게 활용할 수 있는가?
• RQ4 새로운 정규화 손실(FairKL)은 데이터 재가중 또는 증강 없이도 극도로 편향된 데이터셋에서 편향을 효과적으로 완화시킬 수 있는가?
• RQ5 실제 편향된 벤치마크에서 $\alpha$-SupInfoNCE와 FairKL의 공동 사용은 기존 최신 기술 수준의 탈편향 방법보다 어떻게 비교되는가?

주요 결과

• $\alpha$-SupInfoNCE 손실은 5.0% 편향 비율을 가진 Corrupted CIFAR-10에서 50.73%의 정확도를 기록하며, $\alpha$-SupCon 및 기타 베이스라인을 초월한다.
• 전체 정규화 항을 사용할 경우 FairKL 정규화는 bFFHQ에서 3.15% 향상되고, Corrupted CIFAR-10(5.0% 편향)에서 1.08% 향상되며, 평균 값만을 고려한 제약 조건 대비 성능 향상을 보인다.
• 99.9% 편향을 가진 Biased-MNIST에서 $\alpha=0.01$일 때 $\alpha$-SupInfoNCE와 FairKL을 사용한 모델은 95.00%의 정확도를 달성하여 극단적 편향 조건에서도 강건함을 입증한다.
• 아블레이션 연구 결과, 전체 FairKL 정규화 항은 다양한 데이터셋에서 일관되게 성능 향상을 이끌어내며, bFFHQ에서 최대 3.15%의 성능 향상을 기록한다.
• $\alpha$(정규화 가중치)의 선택은 매우 중요하다: 더 강한 편향에 대해서는 더 높은 값이 필요하며, Corrupted CIFAR-10과 bFFHQ에서는 $\alpha=0.1$가 최적임을 확인했다.
• 프로젝션 헤드 사용 시 Corrupted CIFAR-10에서 성능이 최대 3.4% 감소함을 확인하여, 원본 공간과 프로젝션된 공간에서의 동시 최적화가 더 효과적일 수 있음을 시사한다.