[논문 리뷰] Minimum Class Confusion for Versatile Domain Adaptation

Ying Jin, Ximei Wang외 2명|arXiv (Cornell University)|2019. 12. 08.

Domain Adaptation and Few-Shot Learning참고 문헌 67인용 수 25

한 줄 요약

이 논문은 다양한 도메인 적응 시나리오에서 전이 성능을 향상시키기 위해 상호 클래스 혼동을 최소화하는 새로운 비대칭적 도메인 적응 손실인 최소 클래스 혼동(MCC)을 제안한다. MCC는 단일 방법으로 닫힌 집합, 부분 집합, 다중 소스, 다중 타겟 도메인 적응에서 시나리오별 최신 기술을 초월하며, DomainNet에서 7.3% 높은 정확도를 달성하고 기존 방법보다 3배 빠르게 수렴한다.

ABSTRACT

There are a variety of Domain Adaptation (DA) scenarios subject to label sets and domain configurations, including closed-set and partial-set DA, as well as multi-source and multi-target DA. It is notable that existing DA methods are generally designed only for a specific scenario, and may underperform for scenarios they are not tailored to. To this end, this paper studies Versatile Domain Adaptation (VDA), where one method can handle several different DA scenarios without any modification. Towards this goal, a more general inductive bias other than the domain alignment should be explored. We delve into a missing piece of existing methods: class confusion, the tendency that a classifier confuses the predictions between the correct and ambiguous classes for target examples, which is common in different DA scenarios. We uncover that reducing such pairwise class confusion leads to significant transfer gains. With this insight, we propose a general loss function: Minimum Class Confusion (MCC). It can be characterized as (1) a non-adversarial DA method without explicitly deploying domain alignment, enjoying faster convergence speed; (2) a versatile approach that can handle four existing scenarios: Closed-Set, Partial-Set, Multi-Source, and Multi-Target DA, outperforming the state-of-the-art methods in these scenarios, especially on one of the largest and hardest datasets to date (7.3% on DomainNet). Its versatility is further justified by two scenarios proposed in this paper: Multi-Source Partial DA and Multi-Target Partial DA. In addition, it can also be used as a general regularizer that is orthogonal and complementary to a variety of existing DA methods, accelerating convergence and pushing these readily competitive methods to stronger ones. Code is available at https://github.com/thuml/Versatile-Domain-Adaptation.

연구 동기 및 목표

• 기존 도메인 적응 방법이 특정 시나리오에만 최적화되어 있어 의도한 설정 외에서는 성능이 떨어지는 한계를 해결하기 위해.
• 도메인 정렬을 넘어서는 더 일반적인 인덕티브 바이어스를 식별하여, 아키텍처나 학습 방식의 수정 없이도 여러 도메인 적응 시나리오를 처리할 수 있는 단일 방법을 가능하게 하기 위해.
• 의미적으로 유사한 클래스 간의 잘못된 분류—즉, 클래스 혼동—이 다양한 도메인 적응 설정에서 전이 성능에 미치는 영향을 조사하기 위해.
• 이러한 혼동을 줄이고 모델의 일반화 성능을 향상시키기 위한 일반 목적의 손실 함수인 최소 클래스 혼동(MCC)을 개발하기 위해.
• MCC가 독립된 방법으로서뿐만 아니라, 기존 도메인 적응 기법의 수렴 속도와 정확도를 향상시키는 보완 정규화 기법으로서의 유효성을 검증하기 위해.

제안 방법

• MCC는 분류기 예측값과 그 전치 행렬 간의 내적을 측정하여 쌍별 클래스 혼동을 최소화하는 비대칭적 손실로 정의되며, 클래스 간 혼동을 캡처한다.
• 이 방법은 세 가지 구성 요소를 포함한다: 클래스 상관관계(CC)는 클래스 간 혼동을 모델링하고, 확률 재스케일링(PR)은 예측값을 정규화하며, 불확실성 재가중(UR)은 엔트로피가 높은 모호한 예측에 초점을 맞춘다.
• UR은 예측 불확실성에 기반해 예측값을 동적으로 가중하며, 높은 모호성과 낮은 신뢰도를 가진 예측을 우선시하여 어려운 분류 샘플에 집중한다.
• MCC는 기존 도메인 적응 방법과 수직이고 보완적인 구조를 지녀, 정규화 기법으로서 사용되어 수렴 속도를 가속화하고 성능을 향상시킬 수 있다.
• 손실는 학습 중에 엔드 투 엔드로 최적화되며, 최소한의 하이퍼파라미터 튜닝으로도 모든 주요 도메인 적응 시나리오—새로운 것으로 제안된 다중 소스 부분 집합 도메인 적응(Multi-Source Partial DA)과 다중 타겟 부분 집합 도메인 적응(Multi-Target Partial DA) 포함—에 적용 가능하다.
• 명시적인 도메인 정렬을 피하고 혼동 최소화에 의존함으로써, 대비되는 도메인 적응 방법보다 더 빠른 수렴을 가능하게 한다.

실험 결과

연구 질문

• RQ1 의미적으로 유사한 클래스 간의 혼동을 줄이면 다양한 도메인 적응 시나리오에서 일반화 성능이 향상될 수 있는가?
• RQ2 도메인 정렬을 넘어서는 더 일반적인 인덕티브 바이어스가 존재하는가? 이를 통해 단일 방법이 아키텍처나 학습 방식의 수정 없이도 여러 도메인 적응 설정을 처리할 수 있는가?
• RQ3 부분 집합 및 다중 소스/타겟 설정을 포함한 다양한 도메인 적응 시나리오에서 클래스 혼동은 어떻게 나타나는가?
• RQ4 모든 주요 도메인 적응 시나리오에서 효과적이고 강건하게 작동하는 통합된 손실 함수를 설계할 수 있는가?
• RQ5 MCC는 기존 도메인 적응 기법의 수렴 속도와 정확도를 향상시키는 일반 정규화 기법으로서 어느 정도의 효과를 발휘할 수 있는가?

주요 결과

• MCC는 닫힌 집합, 부분 집합, 다중 소스, 다중 타겟, 그리고 새로 제안된 두 가지 설정인 다중 소스 부분 집합 도메인 적응(Multi-Source Partial DA)과 다중 타겟 부분 집합 도메인 적응(Multi-Target Partial DA)을 포함한 여섯 가지 도메인 적응 시나리오에서 최신 기술 성능을 달성한다.
• 어려운 DomainNet 데이터셋에서 MCC는 이전 최고 성능보다 정확도를 7.3% 향상시켜 대규모이고 어려운 도메인 이동 설정에서의 효과성을 입증한다.
• CDAN과 DANN보다 3배 빠르게 수렴하여, 1,000번째 반복에서 95%의 정확도에 도달하는 반면, 다른 방법들은 그 시점에 85% 이하에 머무른다.
• 절단 실험 결과, MCC의 모든 구성 요소—클래스 상관관계, 확률 재스케일링, 불확실성 재가중—이 필수적임을 확인하였으며, 전체 MCC 모델은 ResNet-50를 사용해 Office-31(UDA)에서 평균 89.4%의 정확도를 달성한다.
• 이론적 분석 결과, 주요 기법들보다 MCC가 더 낮은 A-distance와 이상 오차(𝜖_ideal)를 기록하여 더 나은 일반화와 도메인 정렬 성능을 보임을 확인한다.
• 정규화 기법으로 사용할 경우, MCC는 기존 도메인 적응 기법의 수렴 속도를 가속화하고 성능을 향상시키며, 그 수직성과 보완성의 성격을 확인한다.