[논문 리뷰] Towards Calibrated Model for Long-Tailed Visual Recognition from Prior Perspective

Zhengzhuo Xu, Zenghao Chai외 1명|arXiv (Cornell University)|2021. 11. 06.

Retinal Imaging and Analysis인용 수 15

한 줄 요약

이 논문은 장꼬리 시각 인식에서 校정을 향상시키기 위해 두 가지 새로운 방법—Uniform Mixup (UniMix)과 Bayes Bias (Bayias)—을 제안한다. UniMix는 꼬리 쪽을 우선시하는 혼합 요소와 역수 샘플링을 사용하여 더 많은 헤드-꼬리 혼합 샘플을 생성한다. 반면 Bayias는 수정된 교차 엔트로피 손실을 통해 훈련 세트와 테스트 세트 간의 사전 분포 불일치를 보정한다. 이 두 방법의 조합은 CIFAR-LT, ImageNet-LT, iNaturalist 2018에서 최고 성능을 기록하며 보다 뛰어난 校정과 정확도를 확보한다.

ABSTRACT

Real-world data universally confronts a severe class-imbalance problem and exhibits a long-tailed distribution, i.e., most labels are associated with limited instances. The na\\"ive models supervised by such datasets would prefer dominant labels, encounter a serious generalization challenge and become poorly calibrated. We propose two novel methods from the prior perspective to alleviate this dilemma. First, we deduce a balance-oriented data augmentation named Uniform Mixup (UniMix) to promote mixup in long-tailed scenarios, which adopts advanced mixing factor and sampler in favor of the minority. Second, motivated by the Bayesian theory, we figure out the Bayes Bias (Bayias), an inherent bias caused by the inconsistency of prior, and compensate it as a modification on standard cross-entropy loss. We further prove that both the proposed methods ensure the classification calibration theoretically and empirically. Extensive experiments verify that our strategies contribute to a better-calibrated model, and their combination achieves state-of-the-art performance on CIFAR-LT, ImageNet-LT, and iNaturalist 2018.

연구 동기 및 목표

• 데이터 불균형으로 인한 장꼬리 시각 인식에서 딥 모델의 열악한 校정과 일반화 문제 해결.
• 혼합 기법(mixup)이 장꼬리 설정에서 잘못 보정되는 근본 원인을 헤드-헤드 쌍 과도 생성으로 특정화.
• 소수 클래스의 일반화를 향상시키기 위해 헤드-꼬리 혼합을 장려하는 새로운 데이터 증강 전략(UniMix) 제안.
• 훈련 및 테스트 세트 간의 사전 분포 불일치를 보정하기 위해 Bayes Bias (Bayias) 도입.
• UniMix와 Bayias를 통합하여 하나의 훈련 프레임워크로 통합, 더 보정된 정확도 높은 모델 달성.

제안 방법

• 장꼬리 상황에서의 mixup 잘못 보정 원인 분석을 위해 ξ-Aug 개념 도입하여, 과도한 헤드-헤드 쌍 생성이 핵심 문제임을 규명.
• 라벨 사전에 민감한 혼합 요소 ξ*i,j ∼ U(π_yi, π_yj, α, α)를 사용해 소수 클래스를 우선시하는 Uniform Mixup (UniMix) 설계.
• 혼합 데이터 생성 시 헤드-꼬리 쌍 선택 확률을 높이기 위해 역수 샘플링 전략 구현.
• Bayes Bias (Bayias)를 log(π_i) - log(π'_i)로 정의하여, π_i는 훈련 사전, π'_i는 테스트 사전으로, 사전 불일치 보정.
• 표준 교차 엔트로피 손실에 Bayias를 클래스별 보정 항목으로 추가해 사후 추정 향상.
• UniMix와 Bayias를 하나의 훈련 파ip라인으로 통합해 校정과 정확도를 동시에 향상.

실험 결과

연구 질문

• RQ1 표준 mixup가 장꼬리 시각 인식 환경에서 왜 모델의 校정을 실패하는가?
• RQ2 장꼬리 데이터셋에서 소수 클래스의 일반화를 향상시키기 위해 데이터 증강을 어떻게 재구성할 수 있는가?
• RQ3 훈련 및 테스트 세트 간의 일관되지 않은 레이블 사전으로 인해 유발되는 본질적 편향은 무엇이며, 이를 어떻게 보정할 수 있는가?
• RQ4 개선된 데이터 증강과 사전 인지 손실 보정을 결합하면 더 보정된 모델을 달성할 수 있는가?
• RQ5 다양한 校정 전략을 결합했을 때 상호작용하는 방식은 어떻게 되며, 간섭하거나 상호보완적인가?

주요 결과

• UniMix는 헤드-꼬리 혼합 샘플 비율을 높여 헤드 클래스의 과신뢰를 감소시켜 모델의 校정을 크게 향상시킨다.
• Bayes Bias (Bayias)는 훈련 및 테스트 세트 간의 사전 불일치를 보정하여 더 정확한 사후 추정을 가능하게 한다.
• CIFAR-100-LT-100에서 UniMix와 Bayias의 조합은 최고 성능을 기록하며, 48.3% 정확도와 1.44% ECE로 보다 뛰어난 校정과 정확도 확보.
• ImageNet-LT에서 제안된 방법은 이전 최고 성능(SOTA) 방법보다 뛰어난 성능을 기록하여 강력한 일반화 능력을 입증.
• UniMix와 Bayias의 병합 사용은 각각 단독으로 사용할 경우보다 더 뛰어난 校정을 달성하며, 정확도에 하락 없이 수행.
• 실험 결과에 따르면 잘못 보정된 방법을 결합하면 오히려 부정적인 영향을 미칠 수 있으며, 이는 校정 일관성의 중요성을 강조.