[논문 리뷰] Learning Domain-Invariant Relationship with Instrumental Variable for Domain Generalization.

Junkun Yuan, Xu Ma외 4명|arXiv (Cornell University)|2021. 10. 04.

Domain Adaptation and Few-Shot Learning참고 문헌 52인용 수 6

한 줄 요약

이 논문은 입력 특징과 레이블 간 조건부 분포에서 도메인 불변 관계를 학습하기 위해 공구 변수(Instrumental Variables, IVs)를 활용하는 새로운 도메인 일반화 방법인 DRIVE를 제안한다. 한 도메인의 특징을 다른 도메인에 대한 유효한 IV로 간주함으로써, DRIVE는 이중 단계 IV 추정을 통해 미리 보지 못한 도메인에서도 일반화 성능을 향상시킨다. 이는 다양한 벤치마크에서 최고 성능을 기록한다.

ABSTRACT

Domain generalization (DG) aims to learn from multiple source domains a model that generalizes well on unseen target domains. Existing methods mainly learn input feature representations with invariant marginal distribution, while the invariance of the conditional distribution is more essential for unknown domain generalization. This paper proposes an instrumental variable-based approach to learn the domain-invariant relationship between input features and labels contained in the conditional distribution. Interestingly, with a causal view on the data generating process, we find that the input features of one domain are valid instrumental variables for other domains. Inspired by this finding, we design a simple yet effective framework to learn the Domain-invariant Relationship with Instrumental VariablE (DRIVE) via a two-stage IV method. Specifically, it first learns the conditional distribution of input features of one domain given input features of another domain, and then it estimates the domain-invariant relationship by predicting labels with the learned conditional distribution. Simulation experiments show the proposed method accurately captures the domain-invariant relationship. Extensive experiments on several datasets consistently demonstrate that DRIVE yields state-of-the-art results.

연구 동기 및 목표

• 기존 도메인 일반화 방법이 불변 마진 분포에 집중하는 데 반해 더 근본적인 불변 조건부 분포에 초점을 맞추지 못하는 한계를 해결하기 위해.
• 데이터 생성의 인과적 구조를 탐색하고, 한 도메인의 입력 특징을 다른 도메인에 대한 유효한 공구 변수로 식별하기 위해.
• 간단하면서도 효과적인 프레임워크를 개발하여 공구 변수 추정을 활용해 도메인 불변 관계를 학습하고, 이를 통해 새로운 도메인에서의 일반화 성능을 향상시키기 위해.
• 제안된 방법이 이전 방법들보다 진정한 도메인 불변 관계를 더 정확히 포착하는지 경험적으로 검증하기 위해.

제안 방법

• 이 방법은 입력 특징이 한 도메인에서 다른 도메인의 레이블을 예측하는 데 사용되는 공구 변수가 되는 인과 추론 문제로 도메인 일반화를 재정의한다.
• 이중 단계 공구 변수 접근 방식을 사용한다: 먼저 한 도메인의 특징이 다른 도메인의 특징에 따라 조건부 분포로 추정하고, 그 다음 이를 이용해 레이블을 예측한다.
• 첫 번째 단계는 도메인 간 특징 간 관계를 모델링하여 도메인 특화된 이동을 포착하면서도 불변 구조적 관계를 유지한다.
• 두 번째 단계는 추정된 조건부 분포를 프록시로 사용하여 레이블을 예측함으로써, 실제로 도메인 불변 관계를 학습한다.
• 이 프레임워크는 인과 식별 이론에 기반하여, 적절한 가정 하에 추정된 관계가 모든 도메인에서 불변임을 보장한다.
• 이중 단계 IV 추정기의 미분 가능 근사치를 사용해 엔드 투 엔드로 학습함으로써, 딥 러닝 아키텍처에 실용적으로 적용할 수 있다.

실험 결과

연구 질문

• RQ1 한 도메인의 입력 특징이 다른 도메인에서의 불변 관계 학습을 위한 유효한 공구 변수로 기능할 수 있는가?
• RQ2 공구 변수 추정을 통한 도메인 불변 관계 학습이 마진 분포 기반 방법에 비해 새로운 도메인에서의 일반화 성능을 향상시키는가?
• RQ3 통제된 시뮬레이션 환경에서 제안된 방법이 진정한 도메인 불변 관계를 얼마나 정확히 포착할 수 있는가?
• RQ4 실세계 도메인 일반화 벤치마크에서 제안된 방법의 경험적 성능은 어떠한가?

주요 결과

• 제안된 DRIVE 방법은 여러 표준 도메인 일반화 벤치마크에서 최고 성능을 기록하며 기존 방법들을 능가한다.
• 시뮬레이션 실험을 통해 DRIVE가 도메인 불변 관계를 정확히 포착함을 확인하여 이론적 기반을 검증한다.
• 다양한 데이터셋에서 일관된 성능 향상을 보이며, 도메인 분포 변화 및 도메인 이동에 대한 강건성을 보여준다.
• 한 도메인의 입력 특징을 공구 변수로 사용하는 것은 이론적으로 타당하며 경험적으로 효과적이며, 도메인 일반화에 대한 새로운 관점을 제공한다.
• 이중 단계 IV 추정 프레임워크는 데이터 내 도메인 특화된 비합리적 상관관계와 불변 구조적 관계를 성공적으로 분리한다.