[논문 리뷰] Generalizing to unseen domains via distribution matching

Isabela Albuquerque, João Monteiro외 3명|arXiv (Cornell University)|2019. 11. 03.

Domain Adaptation and Few-Shot Learning참고 문헌 56인용 수 89

한 줄 요약

G2DM은 타깃 데이터에 접근하지 않고도 보이지 않는 도메인에 일반화하기 위해 소스 도메인 간 분포 매칭을 도입하고, 쌍별 H-발산의 적대적 최소화를 통해 이를 달성한다.

ABSTRACT

Supervised learning results typically rely on assumptions of i.i.d. data. Unfortunately, those assumptions are commonly violated in practice. In this work, we tackle such problem by focusing on domain generalization: a formalization where the data generating process at test time may yield samples from never-before-seen domains (distributions). Our work relies on the following lemma: by minimizing a notion of discrepancy between all pairs from a set of given domains, we also minimize the discrepancy between any pairs of mixtures of domains. Using this result, we derive a generalization bound for our setting. We then show that low risk over unseen domains can be achieved by representing the data in a space where (i) the training distributions are indistinguishable, and (ii) relevant information for the task at hand is preserved. Minimizing the terms in our bound yields an adversarial formulation which estimates and minimizes pairwise discrepancies. We validate our proposed strategy on standard domain generalization benchmarks, outperforming a number of recently introduced methods. Notably, we tackle a real-world application where the underlying data corresponds to multi-channel electroencephalography time series from different subjects, each considered as a distinct domain.

연구 동기 및 목표

• 도메인에 대한 메타-분포를 formalize 한다.
• 작은 쌍별 도메인 발산이 도메인 혼합 간의 발산을 작게 함을 보인다.
• 볼록 결합 혼합에 기반한 보편화 경계를 도출한다.
• 소스 데이터만을 사용하여 도메인 차이를 최소화하는 적대적이고 계산적으로 tractable한 알고리즘을 제시한다.
• 표준 벤치마크와 실세계 EEG 적용에서 Out-of-Domain 성능이 향상되었음을 입증한다.

제안 방법

• 도메인에 대한 메타-분포와 소스 도메인의 볼록 껍질을 혼합으로 정의한다.
• 쌍별 소스 발산이 작아질 때 혼합 간 H-발산이 감소함을 보이는 경계를 증명한다.
• 분류기 손실을 최소화하고 도메인 식별 손실을 최대화하는 적대적 학습 목표를 세 가지 구성요소(인코더, 분류기, 도메인 판별기) 네트워크로 형식화한다.
• 일대다 도메인 판별기와 무작위 투영층으로 쌍별 H-발산을 효율적으로 추정하여 학습을 안정화한다.
• 테스트 데이터에 접근하지 않으면서 과제 정확도와 분포 매칭의 균형을 맞추는 minimax objective로 학습한다.

실험 결과

연구 질문

• RQ1 G2DM이 i.i.d. 가정하에서 소스 도메인 정보만을 사용하여 ERM보다 우수하게 작동할 수 있는가?
• RQ2 G2DM은 VLCS와 PACS와 같은 벤치마크에서 기존의 도메인 일반화 방법들과 어떻게 비교되는가?
• RQ3 G2DM은 실제로 소스 도메인과 보이지 않는 도메인 간의 분포 매칭을 강제하는가?
• RQ4 학습 중 테스트 데이터 접근 방법이 성능과 안정성에 어떤 영향을 미치는가?
• RQ5 EEG 기반 과제처럼 도메인 간 라벨링 함수가 바뀌는 경우에도 G2DM은 효과적인가?

주요 결과

• G2DM은 VLCS 및 PACS 벤치마크에서 ERM 및 여러 도메인 일반화 기준선보다 성능이 우수하다.
• G2DM은 소스 도메인 간의 추정된 H-발산을 감소시키고, 평가된 대부분의 경우 보이지 않는 도메인으로의 발산도 감소시킨다.
• 소스 데이터 기반의 중지 기준을 사용하더라도 G2DM은 테스트 데이터에 대한 접근 전략에 관계없이 CIDDG와 비교해 보이지 않는 도메인 정확도가 경쟁력 있거나 우수하다.
• AlexNet을 ResNet-18로 대체하면 PACS 실험에서 안정성과 평균 성능이 향상된다.
• EEG 정서 상태 분류에서 라벨링 함수가 피실험자 간에 다르더라도 G2DM은 ERM보다 향상된 정확도를 보인다.
• 이 접근법은 소스 간 쌍별 도메인 차이를 감소시키면 타깃 도메인 데이터 없이도 보이지 않는 분포로 일반화될 수 있음을 보여준다.