[논문 리뷰] Debiased Learning from Naturally Imbalanced Pseudo-Labels

Xudong Wang, Zhirong Wu외 2명|arXiv (Cornell University)|2022. 01. 05.

Domain Adaptation and Few-Shot Learning인용 수 13

한 줄 요약

이 논문은 소스 및 타겟 데이터가 클래스 균형을 이룰 때조차 모델 예측으로 인해 발생하는 편향된 가짜 레이블의 자연스러운 불균형을 해결하는 새로운 탈편향 학습 방법인 DebiasPL을 제안한다. 대비적 추론을 통해 분류기 반응 편향을 제거하고, 가짜 레이블 불균형을 조정하기 위해 적응형 마진 손실을 조합함으로써, 기존 방법보다 진보된 성능을 달성한다: 0.2% 레이블로 ImageNet-1K의 준지도 학습에서 26%의 정확도 향상과 제로샷 학습에서 9%의 향상을 기록하며, 진정한 분류 마진에 대한 사전 지식이 필요 없이도 기존 방법을 능가한다.

ABSTRACT

Pseudo-labels are confident predictions made on unlabeled target data by a classifier trained on labeled source data. They are widely used for adapting a model to unlabeled data, e.g., in a semi-supervised learning setting. Our key insight is that pseudo-labels are naturally imbalanced due to intrinsic data similarity, even when a model is trained on balanced source data and evaluated on balanced target data. If we address this previously unknown imbalanced classification problem arising from pseudo-labels instead of ground-truth training labels, we could remove model biases towards false majorities created by pseudo-labels. We propose a novel and effective debiased learning method with pseudo-labels, based on counterfactual reasoning and adaptive margins: The former removes the classifier response bias, whereas the latter adjusts the margin of each class according to the imbalance of pseudo-labels. Validated by extensive experimentation, our simple debiased learning delivers significant accuracy gains over the state-of-the-art on ImageNet-1K: 26% for semi-supervised learning with 0.2% annotations and 9% for zero-shot learning. Our code is available at: https://github.com/frank-xwang/debiased-pseudo-labeling.

연구 동기 및 목표

• 가짜 레이블이 균형 잡힌 데이터에서 유래되었음에도 불구하고 모델 예측 편향으로 인해 본질적으로 불균형해지는 이유를 규명하고 식별하는 것.
• 준지도 학습 및 제로샷 학습에서 가짜 레이블이 가짜 다수를 생성하는 것으로 이어지는 이전에 간과된 편향 원인을 해결하는 것.
• 일반적으로 표준 탈편향 접근법에서 요구되는 진정한 분류 마진에 대한 사전 지식이 없이도 작동하는 탈편향 방법을 개발하는 것.
• 가짜 레이블 불균형을 수정하여 균형 잡힌 데이터와 장꼬리 데이터 설정 모두에서 모델의 일반화 능력과 강건성을 향상시키는 것.

제안 방법

• 이 방법은 대비적 추론을 사용하여 가짜 레이블 분포가 균형 잡혀 있을 경우 모델 출력이 어떻게 되었을지를 추정함으로써 분류기 반응 편향을 제거하는 적응형 탈편향 모듈을 도입한다.
• 가짜 레이블에서 관측된 불균형에 따라 각 클래스의 마진을 동적으로 조정하는 적응형 마진 손실을 활용하여 헤드 클래스에 대한 과적합을 줄인다.
• FixMatch 및 CLIP 기반 제로샷 학습과 같은 기존 가짜 레이블링 파이프라인과 호환되는 플러그인 모듈로 설계되어 있다.
• 지표 레이블이나 진정한 분류 마진에 대한 액세스가 필요 없어, 자원이 제한된 환경과 제로샷 설정에 적용 가능하다.
• 표준 교차 엔트로피 손실을 사용하여 엔드 투 엔드로 훈련되며, 탈편향 및 마진 적응 요소가 훈련 목표에 통합되어 있다.
• 탈편향 강도 λ 및 신뢰도 임계값 τ와 같은 하이퍼파라미터는 편향 보정과 모델 적합성 간의 균형을 맞추기 위해 탐색을 통해 조정된다.

실험 결과

연구 질문

• RQ1 CLIP 및 FixMatch와 같은 최첨단 모델이 생성하는 가짜 레이블이 소스 및 타겟 데이터가 균형을 이루고 있음에도 불구하고 심각한 클래스 불균형을 보이는 이유는 무엇인가?
• RQ2 진정한 레이블 분포나 진정한 분류 마진에 의존하지 않고도 가짜 레이블의 편향을 보정할 수 있는가?
• RQ3 가짜 레이블의 탈편향은 준지도 학습 및 제로샷 학습 벤치마크 성능에 어떤 영향을 미치는가?
• RQ4 제안된 탈편향 방법은 다양한 가짜 레이블링 프레임워크와 데이터 분포에 일반적으로 적용 가능한가?
• RQ5 장꼬리 및 불균형 데이터 설정에서 탈편향 강도와 모델 일반화 간의 최적의 트레이드오프는 무엇인가?

주요 결과

• DebiasPL은 레이블이 0.2%에 불과한 ImageNet-1K 준지도 학습에서 이전 최고 성능을 크게 뛰어넘는 26%의 정확도 향상을 기록한다.
• 제로샷 학습에서는 CLIP 기반 가짜 레이블링을 사용할 때 기존 방법보다 9%의 향상을 달성한다.
• 아블레이션 연구를 통해 대비적 탈편향 모듈과 적응형 마진 손실이 모두 필수적임을 확인하였으며, 전체 방법은 장꼬리 CIFAR10-LT에서 아블레이션 버전보다 7% 이상 높은 성능을 기록한다.
• 최적의 탈편향 강도 λ는 0.5로 밝혀졌으며, 이는 기본값인 1.0보다 우수한 성능을 내며, 편향 보정과 모델 적합성 간의 비단조화적인 트레이드오프를 시사한다.
• 고신뢰도 임계값(τ = 0.95)으로 CLIP 예측을 필터링하면 불균형이 증가하지만 정밀도는 향상된다. DebiasPL은 이 트레이드오프를 효과적으로 완화하여 ImageNet-1K 제로샷 학습에서 67.7%의 Top-1 정확도를 달성한다.
• 이 방법은 도메인 이동에 강건하며 다양한 벤치마크인 EuroSAT, MNIST, DTD, GTSRB, Flowers102 등에서 잘 일반화되어, 플러그인 모듈로서의 보편성을 확인한다.