[논문 리뷰] Balanced Product of Calibrated Experts for Long-Tailed Recognition

Emanuel Sanchez Aimar, Arvi Jonnarth외 2명|arXiv (Cornell University)|2022. 06. 10.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

이 논문은 장수익분포 인식을 위한 이론적으로 탄탄한 앙상블 방법인 캘리브레이션된 전문가들의 균형 임의곱(Balanced Product of Calibrated Experts, BalPoE)을 제안한다. 이는 로짓 조정을 통해 다양하고 캘리브레이션된 전문가들을 조합함으로써 균형 잠재오차를 보장한다. 믹스업을 사용해 전문가를 캘리브레이션하고, 목표 분포 간의 편향 제약을 강제 적용함으로써, CIFAR-100-LT, ImageNet-LT, iNaturalist-2018에서 최신 기술 수준(SOTA) 성능을 달성하였으며, 전문가 7명을 사용해 상위-1 정확도 57%를 기록하였다.

ABSTRACT

Many real-world recognition problems are characterized by long-tailed label distributions. These distributions make representation learning highly challenging due to limited generalization over the tail classes. If the test distribution differs from the training distribution, e.g. uniform versus long-tailed, the problem of the distribution shift needs to be addressed. A recent line of work proposes learning multiple diverse experts to tackle this issue. Ensemble diversity is encouraged by various techniques, e.g. by specializing different experts in the head and the tail classes. In this work, we take an analytical approach and extend the notion of logit adjustment to ensembles to form a Balanced Product of Experts (BalPoE). BalPoE combines a family of experts with different test-time target distributions, generalizing several previous approaches. We show how to properly define these distributions and combine the experts in order to achieve unbiased predictions, by proving that the ensemble is Fisher-consistent for minimizing the balanced error. Our theoretical analysis shows that our balanced ensemble requires calibrated experts, which we achieve in practice using mixup. We conduct extensive experiments and our method obtains new state-of-the-art results on three long-tailed datasets: CIFAR-100-LT, ImageNet-LT, and iNaturalist-2018. Our code is available at https://github.com/emasa/BalPoE-CalibratedLT.

연구 동기 및 목표

• 헤드 클래스가 지배하고 테일 클래스가 표현 및 일반화에 약한 실제 인식 환경에서 장수익분포 문제를 해결한다.
• 데이터 리샘플링, 손실 재가중, 단일 전문가 편향 조정 등의 기존 방법들이 종종 모델 캘리브레이션 또는 편향 없는 예측을 보장하지 못하는 한계를 극복한다.
• 균형 잠재오차 최소화 조건 하에서 편향 없는 예측을 보장하는 이론적으로 탄탄한 앙상블 프레임워크를 개발한다. 이는 분포 이동 상황에서도 유효하다.
• 전문가별 편향에 대한 제약 조건을 유도하고, 이를 통해 전문가 앙상블이 피셔-일치성을 확보하도록 한다. 또한, 모델 캘리브레이션의 필요성을 검증한다.
• 믹스업이 전문가 캘리브레이션을 달성하는 데 필수적임을 입증한다. 이는 제안된 방법의 이론적 보장 조건을 만족시키기 위한 전제 조건이다.

제안 방법

• 다양한 목표 레이블 분포를 가진 전문가들을 조합하는 균형 임의곱 전문가(BalPoE)를 정의함으로써, 단일 모델의 로짓 조정을 앙상블으로 확장한다.
• 모든 클래스에서 균형 잠재오차를 최소화하기 위해 피셔-일치성을 보장하기 위해 전문가별 편향에 대한 이론적 제약 조건을 도입한다.
• 이론적 조건을 만족시키기 위한 필수 조건인 전문가 캘리브레이션을 달성하기 위해 학습 중 믹스업 정규화를 사용한다. 캘리브레이션되지 않은 모델은 이론적 조건을 충족하지 못하므로, 편향 없는 앙상블 예측이 불가능하다.
• 각 전문가의 목표 분포를 정방향, 균일, 역방향 편향의 가중 조합으로 정의하며, 평균 편향을 0으로 설정해 균형을 유지한다.
• 각 전문가를 그에 맞는 손실 함수로 훈련시켜 헤드, 테일, 균일 클래스 영역에서의 전문화를 가능하게 한다.
• 시험 시점에 캘리브레이션된 로짓 기반 가중 평균을 사용해 전문가 예측을 조합함으로써, 앙상블 출력이 편향 없고 균형 잠재오차 목표와 일치하도록 보장한다.

실험 결과

연구 질문

• RQ1 다양한 전문가들의 곱이 장수익분포 인식에서 균형 잠재오차를 이론적으로 보장할 수 있는가? 그러한 보장을 위한 조건은 무엇인가?
• RQ2 모델 캘리브레이션은 불균형 분류 환경에서 앙상블 모델의 성능과 공정성에 어떤 영향을 미치는가?
• RQ3 믹스업은 BalPoE에서 전문가의 피셔-일치성을 달성하기 위해 필요한 캘리브레이션을 달성하는 데 어떤 역할을 하는가?
• RQ4 제안된 프레임워크는 단일 전문가 접근 방식을 초월해, 지식 정착 또는 테스트 시 적응 기반의 복잡한 다중 전문가 방법보다도 우수한 성능을 낼 수 있는가?
• RQ5 전문가 간 특정 편향 제약을 강제 적용하면, 특히 소수 샘플 클래스에서의 모든 샘플 레지임에서 성능 향상이 이루어지는가?

주요 결과

• BalPoE는 CIFAR-100-LT-100에서 새로운 최신 기술 수준(SOTA) 상위-1 정확도 57%를 달성하였으며, 단일 전문가 기반 베이스라인 대비 11% 상대적 향상이다.
• 소수 샘플 및 중간 수 샘플 클래스에서의 성능 향상이 뚜렷하여, 부족한 표현을 가진 카테고리로의 일반화 능력이 뛰어나다.
• 일곱 명의 전문가를 사용할 때 최고 성능를 기록하며, 짝수 개의 전문가 앙상블에서도 정확도가 매끄럽게 변화함으로써 전문가 수에 대한 강건성을 보였다.
• 믹스업은 전문가 캘리브레이션에 필수적이다. 실험에서 믹스업 없이 사용할 경우, 신뢰도 플롯이 열악하여 피셔-일치성이 확보되지 않음을 확인하였다.
• 지식 정착 또는 테스트 시 훈련을 사용하는 복잡한 베이스라인(SADE, NCL, BCL, PaCo)을 포함해도, 이러한 메커니즘 없이도 성능가 우월성을 확보하였다.
• 이론적 분석을 통해 전문가 편향 제약 조건이 충족되고 전문가들이 적절히 캘리브레이션된 경우, BalPoE가 균형 잠재오차에 대해 피셔-일치성을 확보함을 확인하였다.