[논문 리뷰] Causality Inspired Representation Learning for Domain Generalization

Fangrui Lv, Jian Liang외 5명|arXiv (Cornell University)|2022. 03. 27.

Domain Adaptation and Few-Shot Learning인용 수 13

한 줄 요약

이 논문은 인과적 요인과 비인과적 요인 간의 분리, 요인 간 상호독립성, 인과적 충분성이라는 세 가지 이상적 성질을 강제하여 인과적으로 충분한 표현을 학습하는 도메인 일반화 방법인 인과적 영감을 받은 표현 학습(CIRL)을 제안한다. 인과적 간섭과 요인 분해 모듈을 활용하여 PACS와 같은 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 미관측 도메인 이격 상황에서 평균 정확도 86.32%를 기록하였다.

ABSTRACT

Domain generalization (DG) is essentially an out-of-distribution problem, aiming to generalize the knowledge learned from multiple source domains to an unseen target domain. The mainstream is to leverage statistical models to model the dependence between data and labels, intending to learn representations independent of domain. Nevertheless, the statistical models are superficial descriptions of reality since they are only required to model dependence instead of the intrinsic causal mechanism. When the dependence changes with the target distribution, the statistic models may fail to generalize. In this regard, we introduce a general structural causal model to formalize the DG problem. Specifically, we assume that each input is constructed from a mix of causal factors (whose relationship with the label is invariant across domains) and non-causal factors (category-independent), and only the former cause the classification judgments. Our goal is to extract the causal factors from inputs and then reconstruct the invariant causal mechanisms. However, the theoretical idea is far from practical of DG since the required causal/non-causal factors are unobserved. We highlight that ideal causal factors should meet three basic properties: separated from the non-causal ones, jointly independent, and causally sufficient for the classification. Based on that, we propose a Causality Inspired Representation Learning (CIRL) algorithm that enforces the representations to satisfy the above properties and then uses them to simulate the causal factors, which yields improved generalization ability. Extensive experimental results on several widely used datasets verify the effectiveness of our approach.

연구 동기 및 목표

• 통계적 의존성 기반 도메인 일반화 방법의 한계를 해결하기 위해, 분포 이격 상황에서 인과적 이해 부족으로 인해 실패하는 문제를 해결한다.
• 구조적 인과 모델(SCM) 내에서 도메인 일반화를 정식화하여, 도메인 간 불변인 인과적 요인과 도메인에 따라 변하는 비인과적 요인을 구분한다.
• 관측 가능한 표현을 통해 실제 인과적 요인을 효과적으로 근사할 수 있는 실용적인 방법을 개발한다.
• 인과적 간섭과 요인 분해를 통해 표현의 불변성을 강제하여, 도메인 이격에 대해 불변한 표현을 학습한다.
• 인과적 영감을 받은 표현이 외부 분포(OOD) 테스트 도메인에서 더 나은 일반화와 강건성을 제공함을 입증한다.

제안 방법

• 입력 X가 인과적 요인 S와 비인과적 요인 U의 혼합으로 이루어진 구조적 인과 모델(SCM)을 제안하며, Y(레이블)에 영향을 주는 것은 오직 S에 한정된다.
• S는 그대로 유지하고 U만 변경하여 도메인 간 표현 불변성을 강제하는 인과적 간섭 모듈을 도입한다.
• 표현 차원 간 상호독립성을 강제하여 이상적인 인과적 요인을 근사하는 요인 분해 모듈을 설계한다.
• 각 표현 차원이 분류에 필수적이며 중복되지 않는 인과 정보를 포괄하도록 인과적 충분성을 확보한다.
• 도메인 간 표현을 정렬하면서도 인과적 구조를 유지하기 위해 대비 학습 목적함수를 사용한다.
• 표준 역전파를 사용하여 인과적 간섭 모듈과 요인 분해 모듈을 엔드 투 엔드 학습 프레임워크에 통합한다.

실험 결과

연구 질문

• RQ1 인과적 표현 학습은 통계적 의존성 모델링을 넘어서 도메인 일반화를 향상시킬 수 있는가?
• RQ2 관측 가능한 표현을 통해 관측되지 않은 인과적 요인을 실무적으로 효과적으로 근사할 수 있는가?
• RQ3 분리, 상호독립성, 인과적 충분성을 만족하는 표현이 더 나은 OOD 일반화를 이끌어내는가?
• RQ4 실제 도메인 이격 상황에서 하이퍼파rameter 선택에 대해 제안된 방법의 강건성은 어떠한가?
• RQ5 시각적 주의 맵을 통해 CIRL이 비인과적 도메인 관련 패턴이 아닌 카테고리 특화된 인과적 특징을 학습하는가를 확인할 수 있는가?

주요 결과

• CIRL은 Sketch를 미관측 타겟 도메인으로 삼은 PACS 데이터셋에서 최신 기술 수준의 평균 정확도 86.32%를 달성하여 기존 SOTA 방법을 초월한다.
• 제거 실험을 통해 인과적 간섭, 요인 분해, 적대적 모듈이 모두 필수적임을 확인하였으며, 요인 분해가 없는 변종 대비 전체 CIRL 모델의 정확도는 86.32%에서 84.99%로 떨어졌다.
• 학습 과정에서 표현의 독립성이 크게 향상되었으며, 비대각 요소 상관관계의 프로베니우스 노름이 감소하고 안정화되어 효과적인 상호독립 학습이 이루어졌음을 확인하였다.
• CIRL는 평균 표현 중요도 3.22와 표준편차 0.09를 기록하여 각 차원이 분류에 의미 있고 일관되게 기여하고 있음을 나타내었다.
• 하이퍼파rameter 변화에 대해 뛰어난 안정성을 보였으며, τ(5.0–10.0)와 κ(0.5–0.6)의 넓은 범위에서 높은 성능 유지를 유지하여 안정성을 입증하였다.
• 시각화 결과 CIRL는 고릴라의 목과 같은 카테고리 특화된 특징에 집중하는 반면, 기존 방법들은 텍스처와 같은 비인과적 도메인 특화 패턴에 집중함을 확인하여 인과적 일치가 이루어졌음을 확인하였다.