[논문 리뷰] Adversarial target-invariant representation learning for domain generalization

Isabela Albuquerque, João Monteiro외 3명|arXiv (Cornell University)|2019. 11. 03.

Domain Adaptation and Few-Shot Learning인용 수 23

한 줄 요약

이 논문은 도메인 일반화를 위한 적대적 타겟 불변 표현 학습 방법을 제안하며, 공유된 특징 공간에서 쌍별 도메인 차이를 최소화하면서 작업에 관련된 정보를 유지함으로써, 미리 보지 않은 도메인으로의 일반화를 가능하게 한다. 이 방법은 표준 벤치마크와 실제 EEG 다중 주체 도메인 일반화 작업에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Supervised learning results typically rely on assumptions of i.i.d. data. Unfortunately, those assumptions are commonly violated in practice. In this work, we tackle this problem by focusing on domain generalization: a formalization where the data generating process at test time may yield samples from never-before-seen domains (distributions). Our work relies on a simple lemma: by minimizing a notion of discrepancy between all pairs from a set of given domains, we also minimize the discrepancy between any pairs of mixtures of domains. Using this result, we derive a generalization bound for our setting. We then show that low risk over unseen domains can be achieved by representing the data in a space where (i) the training distributions are indistinguishable, and (ii) relevant information for the task at hand is preserved. Minimizing the terms in our bound yields an adversarial formulation which estimates and minimizes pairwise discrepancies. We validate our proposed strategy on standard domain generalization benchmarks, outperforming a number of recently introduced methods. Notably, we tackle a real-world application where the underlying data corresponds to multi-channel electroencephalography time series from different subjects, each considered as a distinct domain.

연구 동기 및 목표

• 학습 데이터와 테스트 데이터가 서로 다른 도메인에서 온다는 가정 위반으로 인해 발생하는 도메인 이동 문제를 해결하기 위해.
• 모델이 이전에 경험하지 못한 데이터 분포에 일반화할 수 있도록 도메인 일반화를 수학적으로 정의하기 위해.
• 쌍별 도메인 차이와 혼합 도메인 차이에 의존하는 일반화 경계를 유도하기 위해.
• 도메인 차이를 최소화하면서 작업에 관련된 정보를 유지하는 표현 학습 방법을 개발하기 위해.
• 표준 벤치마크와 실제 EEG 시계열 도메인 일반화 작업에서 방법을 검증하기 위해.

제안 방법

• 모든 훈련 도메인 간의 쌍별 차이를 최소화하면, 이 도메인들의 혼합 분포 간의 차이도 동시에 최소화됨을 보여주는 핵심 보조정리를 기반으로 한다.
• 모든 도메인 혼합 쌍 간의 최대 차이에 의존하는 일반화 경계를 수립하며, 이는 적대적 훈련을 통해 최소화된다.
• 모든 훈련 도메인이 동일하게 보이도록(도메인 불변하도록) 공유 표현 공간을 학습하며, 이 불변성을 강제하기 위해 적대적 분류기(discriminator)를 사용한다.
• 하류 예측 작업을 함께 최적화함으로써 작업에 관련된 정보를 유지함으로써 표현이 정보를 많이 담고 있도록 보장한다.
• 최소 최대(minimax) 목적함수를 사용하여 쌍별 도메인 차이를 추정하고 최소화함으로써, 서로 다른 도메인의 특징 분포를 효과적으로 정렬한다.
• 이 방법은 표준 도메인 일반화 벤치마크와 실제 EEG 다중채널 시계열 데이터셋에 적용되며, 각 주체가 별개의 도메인으로 간주된다.

실험 결과

연구 질문

• RQ1 훈련 도메인 간의 쌍별 도메인 차이를 최소화하는 것이, 새로운 도메인으로의 일반화 성능 향상에 기여할 수 있는가?
• RQ2 혼합 도메인 차이에 의존하는 도메인 일반화를 위한 일반화 경계를 도출할 수 있는가?
• RQ3 적대적 훈련을 사용하여, 모든 훈련 도메인이 구별되지 않도록 하면서도 작업에 관련된 특징을 유지하는 표현 공간을 학습할 수 있는가?
• RQ4 표준 도메인 일반화 벤치마크에서 최신 기술 수준의 방법들과 비교해 볼 때, 제안된 방법의 성능은 어떠한가?
• RQ5 다중채널 EEG 시계열과 같이 복잡하고 고차원적인 구조를 가진 실제 데이터에 대해서도 이 방법이 효과적으로 일반화될 수 있는가?

주요 결과

• 제안된 방법은 표준 벤치마크에서 최근에 소개된 여러 도메인 일반화 방법들을 능가하며, 새로운 도메인으로의 일반화 성능 향상을 입증한다.
• 이론적 분석 결과, 훈련 도메인 간의 쌍별 차이를 최소화하면, 이 도메인들의 혼합 분포 간의 차이 역시 제어됨을 보여주며, 유효한 일반화 경계를 확보할 수 있다.
• 적대적 훈련 전략은 훈련 도메인이 서로 구별되지 않는 도메인 불변 표현 공간을 성공적으로 학습하였으며, 동시에 높은 예측 성능도 유지한다.
• 각 주체가 고유한 생리적 패턴을 가지는 실세계 EEG 다중주체 도메인 일반화 작업에서도 강력한 성능을 기록한다.
• 실험 결과는 제안된 방법이 주로 데이터 분포가 주체나 도메인 간에 크게 변화하더라도, 새로운 도메인으로의 일반화가 효과적으로 이루어짐을 확인한다.