[논문 리뷰] Domain Generalization via Multidomain Discriminant Analysis

Shoubo Hu, Kun Zhang외 2명|arXiv (Cornell University)|2019. 07. 25.

Domain Adaptation and Few-Shot Learning참고 문헌 35인용 수 11

한 줄 요약

이 논문은 도메인 일반화를 위한 커널 기반 방법인 다중도메 판별 분석(MDA)을 제안한다. MDA는 클래스별 도메인 차이를 최소화하고 클래스 간 분離도를 최대화함으로써 도메인에 불변인 특징 변환을 학습한다. MDA는 Office+Caltech와 VLCS와 같은 합성 및 실제 데이터 벤치마크에서 기존 방법들을 능가하며, 특히 클래스 사전 확률이 변할 경우에도 강건성을 보이며, 도메인 간 안정적인 근사 분포나 조건부 분포를 가정하지 않는다.

ABSTRACT

Domain generalization (DG) aims to incorporate knowledge from multiple source domains into a single model that could generalize well on unseen target domains. This problem is ubiquitous in practice since the distributions of the target data may rarely be identical to those of the source data. In this paper, we propose Multidomain Discriminant Analysis (MDA) to address DG of classification tasks in general situations. MDA learns a domain-invariant feature transformation that aims to achieve appealing properties, including a minimal divergence among domains within each class, a maximal separability among classes, and overall maximal compactness of all classes. Furthermore, we provide the bounds on excess risk and generalization error by learning theory analysis. Comprehensive experiments on synthetic and real benchmark datasets demonstrate the effectiveness of MDA.

연구 동기 및 목표

• 클래스 사전 확률과 클래스 조건부 분포가 도메인 간으로 이동하는 분류 작업에서 도메인 일반화 문제를 해결하기 위해.
• 안정적인 근사 분포나 조건부 분포를 가정하는 제약 조건이 없는 방법을 개발하기 위해.
• 클래스 간 분리도를 최대화하고 클래스 내 도메인 분산을 최소화하는 특징 변환을 학습하여, 예측 불가능한 타겟 도메인에서의 모델 일반화 능력을 향상시키기 위해.
• 커널 기반 도메인 일반화 방법의 일반화 경계를 이론적으로 분석하기 위해.
• MDA의 강건성과 우수성을 다양한 도메인 이동 상황에서 경험적으로 검증하기 위해.

제안 방법

• 소스 도메인의 판별 능력을 측정하고 특징 학습을 이끌기 위해 평균 클래스 차이를 새로운 측정 기준으로 제안한다.
• 평균 클래스 차이, 평균 도메인 차이, 클래스 간 분리도, 전체 밀도를 통합하여 특징 변환을 위한 통합 목적 함수에 통합한다.
• 커널 피셔 판별 분석을 사용하여 도메인 간 클래스 내 분산을 최소화하고 클래스 간 분리도를 최대화하는 도메인에 불변인 특징 공간을 학습한다.
• 비선형 적응을 가능하게 하기 위해 입력 공간에서 복원력 있는 커널 힐버트 공간으로의 특징 변환에 의존한다.
• 목적 함수 내 네 가지 측정 기준 간의 트레이드오���을 균형 잡기 위해 정규화된 최적화 프레임워크를 활용한다.
• 학습 이론을 활용하여 초과 위험과 일반화 오차에 대한 이론적 경계를 유도하여, 방법의 일반화 능력을 뒷받침한다.

실험 결과

연구 질문

• RQ1 클래스 사전 확률과 클래스 조건부 분포가 모두 도메인 간으로 이동할 경우에도 효과적인 도메인 일반화 방법을 개발할 수 있는가?
• RQ2 클래스 간 분리도를 최대화하고 클래스 내 도메인 분산을 최소화하기 위해 특징 변환을 어떻게 최적화할 수 있는가?
• RQ3 클래스 사전 확률의 변화가 기존 도메인 일반화 방법의 성능에 미치는 영향은 무엇이며, 어떻게 강건성을 향상시킬 수 있는가?
• RQ4 일반적인 도메인 이동 가정 하에 커널 기반 도메인 일반화 방법의 일반화 오차에 대한 이론적 경계를 도출할 수 있는가?
• RQ5 제안된 평균 클래스 차이 측정 기준이 기존 측정 기준보다 도메인 간 판별 특징을 얼마나 잘 포착하는가?

주요 결과

• MDA는 Office+Caltech 데이터셋에서 모든 타겟 도메인 설정에서 가장 높은 정확도를 기록하며, 모든 다른 커널 기반 방법과 1NN 기준선을 능가한다.
• VLCS 데이터셋에서는 10개 사례 중 8개에서 1위를 차지하여 복잡한 도메인 이동 상황에서도 강력한 일반화 능력을 보였다.
• 합성 실험에서 다양한 P(Y) 설정을 통해 MDA는 DICA 및 기타 방법들보다도 유의미하게 더 강건한 성능을 보이며 클래스 사전 확률의 변화에 대응한다.
• Office+Caltech의 (A, C) 케이스에서 MDA는 유일하게 1NN 기준선을 능가하는 커널 기반 방법이었으며, 도전적인 도메인 이동 상황에서의 효과성을 입증했다.
• 이론적 분석을 통해 MDA가 초과 위험과 일반화 오차에 대한 경계를 제공함을 확인하여, 일반화 능력이 뒷받침됨을 입증했다.
• SVM 기준선은 VLCS의 10개 사례 중 6개에서 모든 DG 방법들을 능가했으며, 이는 커널 기반 방법에 SVM 분류기를 적용하는 것이 향후 연구의 유망한 방향임을 시사한다.