[논문 리뷰] Learning to Generalize: Meta-Learning for Domain Generalization

Da Li, Yongxin Yang외 2명|arXiv (Cornell University)|2017. 10. 10.

Domain Adaptation and Few-Shot Learning참고 문헌 26인용 수 113

한 줄 요약

이 논문은 모델-무관 메타러닝 절차(MLDG)를 제안하여 각 미니배치 내에서 기차-테스트 도메인 시프트를 시뮬레이션함으로써 보이지 않는 도메인에 일반화하는 모델을 학습하며, 감독학습과 강화학습 모두에 적용 가능하다.

ABSTRACT

Domain shift refers to the well known problem that a model trained in one source domain performs poorly when applied to a target domain with different statistics. {Domain Generalization} (DG) techniques attempt to alleviate this issue by producing models which by design generalize well to novel testing domains. We propose a novel {meta-learning} method for domain generalization. Rather than designing a specific model that is robust to domain shift as in most previous DG work, we propose a model agnostic training procedure for DG. Our algorithm simulates train/test domain shift during training by synthesizing virtual testing domains within each mini-batch. The meta-optimization objective requires that steps to improve training domain performance should also improve testing domain performance. This meta-learning procedure trains models with good generalization ability to novel domains. We evaluate our method and achieve state of the art results on a recent cross-domain image classification benchmark, as well demonstrating its potential on two classic reinforcement learning tasks.

연구 동기 및 목표

• 테스트 시점에 타깃 데이터에 의존하지 않는 도메인 적응의 더 까다로운 대안으로 도메인 일반화(DG)를 고무한다.
• 보이지 않는 도메인 전반에서 일반화를 개선하기 위한 모델-무관 메타러닝 절차(MLDG)를 도입한다.
• 그래디언트 기반 최적화 프레임워크를 제공하여 어떤 기본 학습기에도 적용 가능하고 감독 학습과 강화 학습 모두에 적용할 수 있다.
• 교차 도메인 이미지 인식 벤치마크에서 최첨단 결과를 시연하고 고전 강화 학습 과제에서 유망한 결과를 보인다.

제안 방법

• Split source domains into meta-train and meta-test groups within each minibatch to simulate domain shift.
• Compute meta-train loss F on meta-train domains and meta-test loss G on meta-test domains using updated parameters Theta' after a gradient step on F.
• Optimize Theta to minimize F + beta * G where G is evaluated at Theta - alpha * grad_theta F, enforcing that improvements on training domains align with improvements on testing domains.
• Apply the same meta-learning framework to reinforcement learning, where domain shift corresponds to different environments, using policy gradient (REINFORCE) or Q-learning as base learners.
• Provide theoretical intuition via Taylor expansion showing alignment of gradients F' and G' as a steering factor for coordinated improvement.
• Optionally include variants (MLDG-GC, MLDG-GN) that emphasize gradient direction alignment or gradient norm.]
• research_questions:[
• Can a model-agnostic meta-learning procedure improve domain generalization without access to target domain data during testing?
• Does simulating train-test domain shifts within minibatches lead to gradients that align across training and unseen domains, yielding better out-of-domain performance?
• Is the approach effective across both supervised learning and reinforcement learning settings?
• How does MLDG compare to aggregating source domains and to other DG methods on cross-domain benchmarks?
• What are the practical implications and limitations of applying MLDG to real-world domain shift scenarios?

실험 결과

연구 질문

• RQ1 모델-무관 메타러닝 절차가 테스트 중에 타깃 도메인 데이터에 접근하지 않는 상태에서 도메인 일반화를 개선할 수 있는가?
• RQ2 미니배치 내에서 기차-테스트 도메인 시프트를 시뮬레이션하면 학습 도메인과 보지 못한 도메인 간의 그래디언트가 정렬되어 외부 도메인 성능이 향상되는가?
• RQ3 이 접근법이 감독 학습과 강화 학습 설정 모두에서 효과적인가?
• RQ4 MLDG가 다원 도메인 벤치마크에서 소스 도메인을 집계하는 방법과 다른 DG 방법과 비교해 어떤 차이가 있는가?
• RQ5 실제 도메인 시프트 시나리오에 MLDG를 적용할 때의 실용적 시사점과 한계는 무엇인가?

주요 결과

• MLDG achieves state-of-the-art results on a cross-domain image recognition benchmark (PACS) compared with several baselines.
• Applying MLDG to reinforcement learning tasks (Cart-Pole and Mountain Car) yields improved domain generalization across varied environments.
• End-to-end MLDG within CNNs provides larger gains than applying it only to final layers, indicating the importance of meta-optimization.
• Variants that enforce gradient alignment (MLDG-GC) or gradient norm (MLDG-GN) offer mixed benefits depending on the task, with vanilla MLDG often performing best.
• The method remains model-agnostic and scalable, not requiring extra parameters tied to the number of domains, unlike many model-based DG approaches.