[논문 리뷰] Domain adaptation under structural causal models

Yuansi Chen, Peter Bühlmann|arXiv (Cornell University)|2020. 10. 29.

Domain Adaptation and Few-Shot Learning참고 문헌 73인용 수 14

한 줄 요약

이 논문은 도메인 적응(DA) 방법을 이론적으로 분석하기 위해 구조적 인과 모델(SCM) 프레임워크를 제안하며, 저항성 타겟 오차를 달성하기 위한 핵심 가정을 규명한다. 타겟 도메인에서 공변량과 레이블이 모두 흐트러질 경우 기존 방법들을 능가하는 성능을 보이는 새로운 DA 방법인 CIRM을 도입하며, 이는 이론적 보장과 실험적 검증을 통해 뒷받 underlined.

ABSTRACT

Domain adaptation (DA) arises as an important problem in statistical machine learning when the source data used to train a model is different from the target data used to test the model. Recent advances in DA have mainly been application-driven and have largely relied on the idea of a common subspace for source and target data. To understand the empirical successes and failures of DA methods, we propose a theoretical framework via structural causal models that enables analysis and comparison of the prediction performance of DA methods. This framework also allows us to itemize the assumptions needed for the DA methods to have a low target error. Additionally, with insights from our theory, we propose a new DA method called CIRM that outperforms existing DA methods when both the covariates and label distributions are perturbed in the target data. We complement the theoretical analysis with extensive simulations to show the necessity of the devised assumptions. Reproducible synthetic and real data experiments are also provided to illustrate the strengths and weaknesses of DA methods when parts of the assumptions in our theory are violated.

연구 동기 및 목표

• 실세계 응용에서 도메인 적응(DA) 방법의 경험적 성공과 실패에 대한 이론적 이해 부족을 해결하기 위해.
• DA 방법이 저항성 타겟 오차를 달성하기 위해 필요한 정확한 가정을 체계화하여, 다양한 방법 간의 체계적 비교를 가능하게 하기 위해.
• 예측 과제의 인과 구조(인과적 대비 반인과적)와 데이터 흐트러짐의 위치가 DA 성능에 미치는 영향을 조사하기 위해.
• 조건부 불변성 및 도메인 불변성 원리를 SCM 하에서 활용하여 더 높은 내구성을 확보하는 새로운 DA 방법 CIRM을 개발하기 위해.
• 핵심 가정 위반 상황에서 DA 방법을 평가하기 위한 통합된 이론적 및 실험적 프레임워크를 제공하기 위해.

제안 방법

• 원천 도메인과 타겟 도메인의 데이터 생성 과정을 모델링하기 위해 도메인 적응을 구조적 인과 모델(SCM) 프레임워크 내에서 수립한다.
• 예측 오차 분석 및 DA 방법의 성공 조건 유도를 위해 가우시안 노이즈가 첨가된 선형 SCM을 도입한다.
• 다양한 도메인 간 조건부 불변성을 강제하는 새로운 DA 방법인 CIRM(조건부 불변 표현 방법)을 제안한다.
• 평균 이동 불변성과 예측 계수 정규화라는 두 가지 핵심 제약 조건을 갖춘 제약 조건이 부여된 이차형 최적화 문제를 통해 CIRM 추정기의 유도를 수행한다.
• 선형 제약 조건 하에서 최적화 문제를 해결하기 위해 투영 행렬과 오р토고날 기저 완성(그람-슈미트 방법 활용)을 사용한다.
• 다양한 흐트러짐 시나리오 하에서 타겟 인구 위험을 분석함으로써 CIRM 및 관련 방법(DIP, RIIRMI 등)의 이론적 위험 경계를 수립한다.

실험 결과

연구 질문

• RQ1 도메인 적응 방법이 저항성 타겟 오차를 달성하기 위해 필요한 데이터 생성 과정에 대한 가정은 무엇인가?
• RQ2 예측 과제의 인과 방향(인과적 대비 반인과적)이 DA 방법의 성능에 어떤 영향을 미치는가?
• RQ3 데이터 흐트러짐의 위치(공변량 대비 레이블)가 도메인 불변 표현의 효과성에 영향을 미치는가?
• RQ4 DIP 및 CIP와 같은 기존 DA 방법들을 비교·대조할 수 있는 통합된 이론적 프레임워크를 개발할 수 있는가?
• RQ5 제안된 CIRM 방법이 공동 공변량 및 레이블 이동 설정에서 기존 DA 방법을 능가하는 조건은 무엇인가?

주요 결과

• 제안된 SCM 프레임워크는 도메인 적응에서 저항성 타겟 오차를 달성하기 위해 필요한 가정을 정밀하게 규명할 수 있으며, 조건부 평균 불변성 및 분포 이동성 등을 포함한다.
• 타겟 도메인에서 공변량과 레이블이 모두 흐트러질 경우, CIRM은 DIP 및 기타 기준 방법보다 낮은 타겟 인구 위험을 달성한다.
• 이론적 분석 결과, CIRM의 위험은 RIIRMI와 동일하지만, CIRM은 불변성과 정규화를 결합한 더 내구성 있는 제약 구조를 통해 이를 달성한다.
• 시뮬레이션 결과, 불변성 가정 위반이 성능 저하를 야기함을 확인하여 이론적 조건의 필수성을 검증한다.
• 합성 및 실세계 데이터에 대한 재현 가능한 실험 결과, CIRM은 공동 분포 이동 조건 하에서 기존 방법들을 능가하며, 특히 반인과적 및 혼합 인과 설정에서 뛰어난 성능을 보인다.
• 프레임워크 분석 결과, 도메인 불변 투영(DIP)은 반인과적 설정에서는 실패하지만, CIRM은 조건부 불변 제약 덕분에 낮은 오차를 유지한다.