[논문 리뷰] On Multi-Domain Long-Tailed Recognition, Imbalanced Domain Generalization and Beyond

Yuzhe Yang, Hao Wang외 1명|arXiv (Cornell University)|2022. 03. 17.

Artificial Intelligence in Healthcare인용 수 4

한 줄 요약

이 논문은 서로 다른 클래스 분포와 도메인 이동이 존재하는 다수의 도메인에서 레이블 불균형을 다루는 새로운 과제인 다중도메 장꼬리 인식(Multi-Domain Long-Tailed Recognition, MDLT)을 소개한다. 이는 이론적으로 근거가 있는 손실 함수인 BoDA를 제안하여 도메인 간 특징을 정렬하면서도 클래스 불균형을 고려하며, 이동 가능성 통계의 상한을 최적화하여 MDLT 및 도메인 일반화 벤치마크에서 최신 기준 성능을 달성한다.

ABSTRACT

Real-world data often exhibit imbalanced label distributions. Existing studies on data imbalance focus on single-domain settings, i.e., samples are from the same data distribution. However, natural data can originate from distinct domains, where a minority class in one domain could have abundant instances from other domains. We formalize the task of Multi-Domain Long-Tailed Recognition (MDLT), which learns from multi-domain imbalanced data, addresses label imbalance, domain shift, and divergent label distributions across domains, and generalizes to all domain-class pairs. We first develop the domain-class transferability graph, and show that such transferability governs the success of learning in MDLT. We then propose BoDA, a theoretically grounded learning strategy that tracks the upper bound of transferability statistics, and ensures balanced alignment and calibration across imbalanced domain-class distributions. We curate five MDLT benchmarks based on widely-used multi-domain datasets, and compare BoDA to twenty algorithms that span different learning strategies. Extensive and rigorous experiments verify the superior performance of BoDA. Further, as a byproduct, BoDA establishes new state-of-the-art on Domain Generalization benchmarks, highlighting the importance of addressing data imbalance across domains, which can be crucial for improving generalization to unseen domains. Code and data are available at: https://github.com/YyzHarry/multi-domain-imbalance.

연구 동기 및 목표

• 다양한 레이블 분포를 가진 불균형 도메인 간에서 일반화 가능한 새로운 학습 철학으로서 다중도메 장꼬리 인식(Multi-Domain Long-Tailed Recognition, MDLT)을 체계화하는 것.
• 실제 환경에서 다양한 도메인에서 유래한 데이터가 존재하고 클래스 빈도가 상이한 상황에서 단일 도메인 장꼬리 학습의 한계를 해결하는 것.
• 불균형 상태에서 데이터의 분포를 고려하여 도메인-클래스 쌍 간의 이동 가능성(transferability)을 모델링하는 통합 프레임워크인 도메인-클래스 이동 가능성 그래프를 개발하는 것.
• 불균형한 도메인-클래스 분포 간에 균형 잡힌 정렬과 校정( calibration )을 보장하는 BoDA(Balanced Domain-Class Distribution Alignment)라는 손실 함수를 설계하는 것.
• 다섯 개인 커리레이티드 MDLT 벤치마크에서 BoDA를 평가하고, 기존 20개의 방법들에 비해 뛰어난 성능을 입증하며, 도메인 일반화 분야에서 최신 기준 성능을 달성하는 것.

제안 방법

• 노드가 도메인-클래스 쌍를 나타내고, 간선이 임bedding 공간 거리를 나타내는 도메인-클래스 이동 가능성 그래프를 제안하여, 불균형 조건 하에서의 도메인 간 및 클래스 간 이동 가능성(transferability)을 모델링한다.
• 동일한 클래스에 대해 서로 다른 도메인 간 특징 유사성을 증진하고, 다른 클래스 간 유사성을 억제하는 손실 함수인 BoDA(Balanced Domain-Class Distribution Alignment)를 도입한다.
• BoDA는 균형 잡힌 이동 가능성 통계의 상한을 최적화하여 클래스 불균형을 명시적으로 고려하며, 기울어진 샘플 수에도 불구하고 안정적인 학습을 보장한다.
• 대조 기반 손실을 사용하여 이질적 클래스 간 및 이질적 도메인 간 특징 유사성을 억제하고, 내재적 클래스 유사성을 증진하며, 클래스 빈도에 맞게 정규화를 조정한다.
• 이론적 분석을 통해 BoDA를 최소화할 경우 이동 가능성 통계의 상한을 최적화할 수 있음을 증명하여, MDLT에서의 효과성을 정당화한다.
• 표준 도메인 일반화 데이터셋에서 유도된 다섯 개의 MDLT 벤치마크에서 BoDA를 실증적으로 평가하며, 도메인 간 레이블 불균형을 제어한다.

실험 결과

연구 질문

• RQ1 여러 도메인 간 레이블 불균형이, 특히 도메인 간 레이블 분포가 상이할 경우 모델의 일반화 성능에 어떤 영향을 미치는가?
• RQ2 통합된 표현 학습 프레임워크는 다중도메 인식 환경에서 도메인 내 레이블 불균형과 도메인 간 분포 이동을 효과적으로 다룰 수 있는가?
• RQ3 다양한 도메인 설정에서 장꼬리 학습의 성공 여부를 결정짓는 도메인-클래스 쌍 간의 이동 가능성은 어느 정도의 영향을 미치는가?
• RQ4 불균형한 도메인-클래스 분포 간에 균형 잡힌 정렬과 校정을 보장하면서도, 미관측 도메인으로의 일반화 성능을 유지할 수 있는 손실 함수를 설계할 수 있는가?
• RQ5 데이터 불균형 문제를 도메인 간으로 확장함으로써, 장꼬리가 아닌 주요 과제에 대해서도 도메인 일반화 성능 향상이 이루어지는가?

주요 결과

• BoDA는 다섯 개의 MDLT 벤치마크에서 기존 20개의 기준 모델들보다 일관되고 뚜렷한 정확도 향상을 보이며, 극심한 레이블 불균형 조건에서 평균 6.4% 향상된 성능을 기록한다.
• Digits-MLT 데이터셋에서 BoDA는 모든 레이블 구성에서 일관된 이동 가능성(transferability)을 유지하지만, ERM는 분포가 다를 경우 실패하며 평균 6.4% 향상된 성능을 보였다.
• 도메인-클래스 이동 가능성 그래프에서 유도된 이동 가능성 통계(α, β, γ)는 모든 MDLT 데이터셋에서 테스트 정확도와 강한 상관관계(R² > 0.9)를 보이며, 성능 예측 요소로서의 역할을 검증하였다.
• BoDA는 특히 꼬리 클래스에 대해 훈련 데이터와 테스트 데이터 간의 특징 차이를 ERM 대비 최대 40% 감소시켜 더 나은 도메인 일반화 성능을 달성한다.
• 최신 기준 도메인 일반화 방법과 조합했을 때, BoDA는 DG 벤치마크에서 새로운 최고 성능(SOTA)을 기록하였으며, 이는 불균형 인식 설계가 분포 외 일반화 성능을 향상시킬 수 있음을 보여준다.
• 시각화 결과는 BoDA가 소수 클래스(특징 공간에서 빨간 영역)에 대해 더 균형 잡히고 강력한 표현을 학습함을 확인하였으며, 특히 도메인 이동과 불균형이 심한 조건에서 뚜렷한 성능 향상을 보였다.