[논문 리뷰] Weakly Supervised Disentangled Generative Causal Representation Learning

Xinwei Shen, Furui Liu외 4명|arXiv (Cornell University)|2020. 10. 06.

Domain Adaptation and Few-Shot Learning인용 수 24

한 줄 요약

이 논문은 인과적 관련성이 있는 요소들을 정확하게 분리할 수 있도록 구조적 인과 모델(SCM)을 사전으로 사용하는 약한 지도 학습 기반의 분리 가능한 생성적 인과 표현 학습 방법인 DEAR를 제안한다. 기존의 독립 사전을 사용하는 방법들은 인과적 의존성이 존재할 경우 실패하지만, DEAR는 이중 방향 생성 모델에서 구조적 인과 모델(SCM)을 사전으로 활용함으로써 인과적 관련성이 있는 요소들을 효과적으로 분리한다. 이는 GAN 프레임워크를 통해 생성자, 인코더, SCM 사전을 함께 훈련함으로써 달성되며, 이로써 식별 가능한 제어 가능한 생성과 더불어 샘플 효율성과 최하위 작업에서의 강건성 향상을 이룬다.

ABSTRACT

This paper proposes a Disentangled gEnerative cAusal Representation (DEAR) learning method under appropriate supervised information. Unlike existing disentanglement methods that enforce independence of the latent variables, we consider the general case where the underlying factors of interests can be causally related. We show that previous methods with independent priors fail to disentangle causally related factors even under supervision. Motivated by this finding, we propose a new disentangled learning method called DEAR that enables causal controllable generation and causal representation learning. The key ingredient of this new formulation is to use a structural causal model (SCM) as the prior distribution for a bidirectional generative model. The prior is then trained jointly with a generator and an encoder using a suitable GAN algorithm incorporated with supervised information on the ground-truth factors and their underlying causal structure. We provide theoretical justification on the identifiability and asymptotic convergence of the proposed method. We conduct extensive experiments on both synthesized and real data sets to demonstrate the effectiveness of DEAR in causal controllable generation, and the benefits of the learned representations for downstream tasks in terms of sample efficiency and distributional robustness.

연구 동기 및 목표

• 기본적으로 인과적 관련성이 있는 요소들에 대해 기존의 분리 방법이 독립 사전을 사용할 경우 성능이 떨어지는 문제를 해결하기 위해, 조건부로 지도 학습이 이루어져도 인과적 관련성이 있는 요소들을 효과적으로 분리할 수 있도록 하는 것.
• 잠재 사전을 구조적 인과 모델(SCM)으로 모델링하여 인과적 의존성이 존재하는 상황에서도 분리 가능한 표현 학습을 가능하게 하는 새로운 방법을 개발하는 것.
• 제안된 방법의 식별 가능성과 점진적 수렴성에 대한 이론적 근거를 제공하는 것.
• 학습된 표현이 인과적 제어 가능한 생성과 최하위 작업에서의 성능 향상, 특히 샘플 효율성 향상과 분포 이질성에 대한 강건성 향상에 기여하는지를 입증하는 것.

제안 방법

• 잠재 변수에 대한 사전 분포로 독립 사전을 대체하여 구조적 인과 모델(SCM)을 사용하는 이중 방향 생성 모델(생성자와 인코더)을 도입한다.
• 잠재 요소들을 인과 그래프로 모델링하며, 각 노드는 하나의 요소를 나타내고 간선은 직접적인 인과적 영향을 나타낸다. 인과적 구조의 슈퍼그래프는 사전에 알려져 있다고 가정한다.
• 실제 데이터와 생성된 데이터를 구분하는 디스커리미네이터를 포함한 GAN 기반 최적화 프레임워크를 사용하여 생성자, 인코더, SCM 사전를 함께 훈련한다. 이 과정에서 지도 학습을 위해 레이블이 부여된 요소들을 활용한다.
• 디스커리미네이터가 실제 데이터와 생성된 데이터를 구분하도록 하는 GAN 목표를 사용하며, 인코더는 관측치를 잠재 공간으로 매핑하고 생성자는 잠재 변수에서 데이터를 재구성한다.
• 잠재 표현이 진짜 요소와 일치하도록 하는 지도 학습 정규화 항을 도입하며, 균형을 맞추기 위해 계수 λ=1000을 사용한다.
• 데이터 재구성과 인과적 구조 일致성 양쪽을 동시에 강제하는 공동 훈련 절차를 적용하여, 분리 가능하고 인과적으로 일관된 생성을 가능하게 한다.

실험 결과

연구 질문

• RQ1 독립 사전을 사용하는 기존의 분리 방법들은 약한 지도 학습 하에 인과적 관련성이 있는 요소들을 성공적으로 분리할 수 있는가?
• RQ2 잠재 사전을 구조적 인과 모델(SCM)으로 모델링할 경우, 인과적 의존성이 존재하는 상황에서 더 나은 분리와 제어 가능한 생성이 가능한가?
• RQ3 제안된 DEAR 방법은 가정된 인과적 구조 하에서 식별 가능하고 점차적으로 수렴하는가?
• RQ4 DEAR가 학습한 분리 가능한 표현은 분포 이질성 상황에서도 최하위 예측 작업에서 샘플 효율성과 강건성을 향상시킬 수 있는가?

주요 결과

• DEAR는 독립 사전 기반 방법이 실패하는 상황에서도 단 100개의 레이블된 샘플만으로도 인과적 관련성이 있는 요소들을 성공적으로 분리한다.
• 부드럽고 해석 가능한 잠재 공간 이동과 인과적 방향성을 존중하는 간섭 실험을 통해, 더 나은 분리와 제어 가능한 생성을 달성한다.
• 인과 간섭 실험에서 원인 변수에 간섭을 가하면 영향을 받는 결과 변수에 영향을 주지만, 결과 변수에 간섭을 가해도 원인 변수에 영향을 주지 않음을 확인하여, 올바른 인과적 구조 모델링이 이루어졌음을 입증한다.
• 생성 품질과 분리도에서 S-VAEs, GraphVAE, CausalGAN을 모두 능가하며, 특히 연속적이고 의미 있는 요소 변화를 잘 포착한다.
• 학습된 표현은 최하위 예측 작업에서 샘플 효율성 향상과 분포 이질성에 대한 강건성 향상에 기여하여 인과적 분리의 불변성을 검증한다.
• 이론적 분석을 통해 제안된 방법의 표현 식별 가능성과 가정된 인과적 구조 하에서 DEAR 알고리즘의 점진적 수렴성이 확인된다.