[논문 리뷰] Class-imbalanced Domain Adaptation: An Empirical Odyssey

Shuhan Tan, Xingchao Peng외 1명|arXiv (Cornell University)|2019. 10. 23.

Domain Adaptation and Few-Shot Learning참고 문헌 56인용 수 8

한 줄 요약

이 논문은 특성과 레이블 분포가 모두 도메인 간에 이동하는 현실적인 설정인 클래스 불균형 도메인 적응(CDA)을 소개한다. COAL은 조건부 특성 분포와 레이블 분포를 동시에 정렬하는 공동 정렬 모델로, 새로운 22개의 교차 도메인 작업 벤치마크에서 기존 방법들을 크게 능가하며, 강력한 기준선 대비 최대 5.2%의 정확도 향상을 보였다.

ABSTRACT

Unsupervised domain adaptation is a promising way to generalize deep models to novel domains. However, the current literature assumes that the label distribution is domain-invariant and only aligns the feature distributions or vice versa. In this work, we explore the more realistic task of Class-imbalanced Domain Adaptation: How to align feature distributions across domains while the label distributions of the two domains are also different? Taking a practical step towards this problem, we constructed the first benchmark with 22 cross-domain tasks from 6real-image datasets. We conducted comprehensive experiments on 10 recent domain adaptation methods and find most of them are very fragile in the face of coexisting feature and label distribution shift. Towards a better solution, we further proposed a feature and label distribution CO-ALignment (COAL) model with a novel combination of existing ideas. COAL is empirically shown to outperform the most recent domain adaptation methods on our benchmarks. We believe the provided benchmarks, empirical analysis results, and the COAL baseline could stimulate and facilitate future research towards this important problem.

연구 동기 및 목표

• 현재 비지도 도메인 적응(UDA) 방법들이 도메인 간 동일한 레이블 분포를 가정하는 실용적 한계를 해결하기 위해, 실제 세계에서는 흔한 레이블 분포의 이동이 존재함에도 불구하고 이를 고려하지 않는 점을 다루기 위해.
• 기존 UDA 방법들이 동시에 발생하는 특성과 레이블 분포 이동 하에서 취약하며, 종종 부정적 전이를 유도함을 보여주기 위해.
• 6개의 실제 이미지 데이터셋에서 22개의 교차 도메인 작업을 포함하는 CDA를 위한 첫 번째 종합적 벤치마크를 구축하기 위해.
• 강력한 적응을 위해 조건부 특성 분포와 레이블 분포를 동시에 정렬하는 새로운 COAL 프레임워크를 제안하고 검증하기 위해.
• 향후 더 강력하고 현실 세계에 적용 가능한 도메인 적응 연구를 자극하기 위해 실증적 증거와 강력한 기준선을 제공하기 위해.

제안 방법

• 특성 분포 이동(p(x) ≠ q(x))과 레이블 분포 이동(p(y) ≠ q(y))이 동시에 발생하며, p(x|y) ≠ q(x|y)인 새로운 도메인 적응 설정인 CDA를 제안한다.
• 이중 목표 학습 프레임워크를 도입: (1) 원형 기반 조건부 특성 정렬을 통한 자기 학습(L_ST)으로 각 클래스 내 특성을 정렬하고, (2) 엔트로피 최소화와 교차 엔트로피 손실을 통한 레이블 분포 정렬(L_H).
• 불균형한 소스 데이터에서 발생하는 편향을 완화하기 위해 균형 잡힌 소스 샘플러를 사용하여 레이블 이동 하에서도 일반화 성능을 향상시킨다.
• 특성 표현 학습을 위해 적대적 도메인 정렬과 함께 ResNet-50 백본을 사용하고, 소스 데이터와 허위 레이블이 부여된 타겟 데이터 양쪽 모두에 대해 분류기 헤드를 학습시킨다.
• 다양한 수준의 레이블 이동을 시뮬레이션하기 위해 균형 잡힌 및 불균형 레이블 설정 간 선형 보간을 적용하여 부가 분석을 수행한다.
• t-SNE 시각화를 통해 도메인 간 특성 정렬의 품질을 정성적으로 평가하였으며, COAL이 기존 방법보다 더 나은 카테고리별 군집화를 달성함을 확인하였다.

실험 결과

연구 질문

• RQ1 기존 최신 기술의 도메인 적응 방법들은 동시에 발생하는 특성과 레이블 분포 이동 하에서 어떻게 성능을 발휘하는가?
• RQ2 레이블 이동의 정도가 현재 UDA 방법의 성능에 어떤 영향을 미치는가?
• RQ3 조건부 특성 분포와 레이블 분포의 공동 정렬이 클래스 불균형 도메인 적응에서 강건성을 향상시킬 수 있는가?
• RQ4 제안된 COAL 프레임워크의 개별 구성 요소들이 CDA에서 성능에 얼마나 중요한가?
• RQ5 균형 잡힌 소스 샘플러는 레이블 이동 하에서 성능 저하를 얼마나 효과적으로 완화할 수 있는가?

주요 결과

• 제안된 CDA 벤치마크에서, DAN, DANN, MCD를 포함한 대부분의 기존 UDA 방법들이 레이블 이동 하에서 심각한 성능 저하를 겪으며, 일부 사례에서는 정확도가 10% 이상 감소하였다.
• 레이블 이동이 0%에서 100%로 증가함에 따라 MCD 방법의 정확도는 91.45%에서 77.18%로 감소하여 레이블 분포 이동에 매우 민감함을 입증하였다.
• COAL은 8개 작업 평균 정확도 77.44%를 기록하여, 최고의 기준선(MCD 74.46%)보다 평균 3.0% 높은 성능을 보였다.
• 부가 분석 결과, 조건부 특성 정렬(L_ST) 또는 레이블 분포 정렬(L_H) 목표를 제거할 경우 COAL의 정확도는 각각 2.6%와 2.9% 감소하였다.
• COAL는 레이블 이동 정도에 관계없이 안정적인 성능을 유지하였으며, USPS→MNIST 작업에서 정확도가 88.12%에서 93.42% 사이를 유지하였다. 반면 기준선 방법들은 급격히 성능이 저하되었다.
• t-SNE 시각화 결과, COAL가 기존 방법보다 소스 및 타겟 특성 간의 더 나은 카테고리별 정렬을 달성함을 확인하였으며, 잘못된 클래스 간 정렬을 방지하였다.