[논문 리뷰] Domain Generalization -- A Causal Perspective

Paras Sheth, Raha Moraffah외 3명|arXiv (Cornell University)|2022. 09. 30.

Domain Adaptation and Few-Shot Learning인용 수 7

한 줄 요약

이 논문은 도메인 일반화를 위한 인과적 프레임워크를 제안하며, 방법을 세 단계로 분류한다: 인과적 데이터 증강(전처리), 불변 인과 표현 학습(표현 학습), 인과 메커니즘 전이(분류). 체계적인 분류 체계, 벤치마크, 평가 지침을 제공하며, 향후 연구를 위한 NLP 및 그래프 데이터 분야에서의 미개척 영역을 부각시킨다.

ABSTRACT

Machine learning models rely on various assumptions to attain high accuracy. One of the preliminary assumptions of these models is the independent and identical distribution, which suggests that the train and test data are sampled from the same distribution. However, this assumption seldom holds in the real world due to distribution shifts. As a result models that rely on this assumption exhibit poor generalization capabilities. Over the recent years, dedicated efforts have been made to improve the generalization capabilities of these models collectively known as -- extit{domain generalization methods}. The primary idea behind these methods is to identify stable features or mechanisms that remain invariant across the different distributions. Many generalization approaches employ causal theories to describe invariance since causality and invariance are inextricably intertwined. However, current surveys deal with the causality-aware domain generalization methods on a very high-level. Furthermore, we argue that it is possible to categorize the methods based on how causality is leveraged in that method and in which part of the model pipeline is it used. To this end, we categorize the causal domain generalization methods into three categories, namely, (i) Invariance via Causal Data Augmentation methods which are applied during the data pre-processing stage, (ii) Invariance via Causal representation learning methods that are utilized during the representation learning stage, and (iii) Invariance via Transferring Causal mechanisms methods that are applied during the classification stage of the pipeline. Furthermore, this survey includes in-depth insights into benchmark datasets and code repositories for domain generalization methods. We conclude the survey with insights and discussions on future directions.

연구 동기 및 목표

• 분포 이탈 하에서 기계 학습 모델의 한계를 극복하기 위해 인과성을 활용하여 일반화 능력을 향상시키기 위해.
• 모델 파ip라인에서 인과성이 언제 및 어떻게 적용되는지에 따라 기존의 인과 인지 도메인 일반화 방법을 분류하기 위해.
• 재현 가능성과 벤치마크를 위해 데이터셋, 평가 지표 및 코드 리포지토리의 종합적 서베이를 제공하기 위해.
• 특히 자연어 처리(NLP) 및 그래프 기반 데이터에서 인과 표현 학습과 메커니즘 전이 분야에서의 미개척 연구 방향을 식별하기 위해.
• 기존 정확도 외에 불변 인과 특징을 검증하기 위한 인과 평가 지표를 제안하기 위해.

제안 방법

• 기존의 인과 인지 도메인 일반화 방법을 세 단계로 분류한다: 전처리 단계(인과적 데이터 증강), 표현 학습 단계(불변 인과 표현 학습), 분류 단계(인과 메커니즘 전이).
• 불변성과 간섭 이론 같은 인과 이론을 적용하여 다양한 도메인 간에 안정적이고 분포 불변 특징을 식별한다.
• 다중 소스 도메인 일반화 평가를 위해 one-domain-out을 제외한 교차 검증 전략을 사용한다.
• 모델 선택을 위해 학습 도메인 검증을 활용하며, 소스 도메인을 학습 및 검증 세트로 분할한다.
• 표현-라벨 관련성 평가를 위해 최대 정보 계수(MIC)와 총 정보 계수(TIC)와 같은 추가적인 인과 평가 지표를 도입한다.
• 텍스트 및 그래프 데이터로 분류 체계를 확장하여 이러한 모odalities에서 인과 표현 학습과 메커니즘 전이 분야의 격차를 식별한다.

실험 결과

연구 질문

• RQ1 기계 학습 파이프라인의 다양한 단계에서 인과성을 체계적으로 활용하여 도메인 일반화를 향상시키는 방법은 무엇인가?
• RQ2 인과적 데이터 증강, 표현 학습, 분류 단계에서 인과성이 어떻게 다를 수 있는가?
• RQ3 왜 자연어 처리(NLP) 및 그래프 기반 도메인 일반화에서 인과 표현 학습과 인과 메커니즘 전이가 미개척되어 있는가?
• RQ4 MIC 및 TIC와 같은 인과 평가 지표는 기존 정확도 기반 지표와 어떻게 보완되며, 모델의 강건성을 평가하는 데 기여하는가?
• RQ5 기존의 인과 인지 도메인 일반화 방법을 비교하기 위해 가장 효과적인 벤치마크와 평가 프로토콜는 무엇인가?

주요 결과

• 제안된 세 단계 분류 체계—인과적 데이터 증강, 불변 인과 표현 학습, 인과 메커니즘 전이—는 기존 방법을 체계적으로 분류하는 명확한 프레임워크를 제공한다.
• 비록 인과적 데이터 증강이 NLP 및 그래프 데이터에서 잘 정립되어 있지만, 인과 표현 학습과 메커니즘 전이는 여전히 이 분야에서 미개척되어 있다.
• MIC 및 TIC를 활용한 평가 결과, 인과 인지 모델에서 학습된 표현과 진짜 레이블 간의 정렬도가 더 강하게 나타나, 이러한 모델의 인과 불변성을 검증한다.
• one-domain-out 전략은 다중 소스 도메인 일반화에서 가장 널리 사용되는 평가 전략으로, 미리 보지 못한 도메인에 대한 강건성을 보장한다.
• ColoredMNIST, RotatedMNIST 및 기타 벤치마크 데이터셋은 널리 사용되며, 최근 연구들은 텍스트 및 그래프 기반 벤치마크로 확장되고 있다.
• 본 서베이에서는 기존 정확도 외에 표준화된 인과 평가 지표의 필요성을 강조하며, 학습된 특징의 불변성을 검증하기 위한 기반을 마련한다.