[논문 리뷰] CausalVAE: Structured Causal Disentanglement in Variational Autoencoder

Mengyue Yang, Furui Liu외 4명|arXiv (Cornell University)|2020. 04. 18.

Topic Modeling참고 문헌 14인용 수 15

한 줄 요약

CausalVAE는 관찰 데이터로부터 인과적 구조를 가진 분리된 표현을 학습하기 위해 구조적 인과 모델(Structural Causal Model, SCM) 레이어를 갖춘 변분 오토에인코더 프레임워크를 제안한다. 이는 도-연산(do-operations)을 통한 정확한 인과 그래프 식별 및 반성적 생성(counterfactual generation)을 가능하게 한다. 모델는 DAG의 구조를 강제로 부여하고 약한 감독을 활용하여 최신 기준을 충족하는 분리도를 달성하며, 합성 데이터 및 CelebA 데이터셋에서의 실험 결과로 높은 의미 해석 가능성과 인과적 충실도를 입증한다.

ABSTRACT

Learning disentanglement aims at finding a low dimensional representation which consists of multiple explanatory and generative factors of the observational data. The framework of variational autoencoder (VAE) is commonly used to disentangle independent factors from observations. However, in real scenarios, factors with semantics are not necessarily independent. Instead, there might be an underlying causal structure which renders these factors dependent. We thus propose a new VAE based framework named CausalVAE, which includes a Causal Layer to transform independent exogenous factors into causal endogenous ones that correspond to causally related concepts in data. We further analyze the model identifiabitily, showing that the proposed model learned from observations recovers the true one up to a certain degree by providing supervision signals (e.g. feature labels). Experiments are conducted on various datasets, including synthetic and real word benchmark CelebA. Results show that the causal representations learned by CausalVAE are semantically interpretable, and their causal relationship as a Directed Acyclic Graph (DAG) is identified with good accuracy. Furthermore, we demonstrate that the proposed CausalVAE model is able to generate counterfactual data through "do-operation" to the causal factors.

연구 동기 및 목표

• 기존의 분리된 표현 학습 방법이 독립적인 요소를 가정하는 데서 비롯하는 한계를 해결하기 위해, 실세계에서 인과적 의존성이 존재하는 상황에서도 실패하는 경우가 많다는 점을 고려한다.
• 사전에 인과적 구조가 주어지지 않은 관측 데이터로부터 인과적으로 관련된 의미 있는 요소를 학습하는 딥 생성 모델을 개발한다.
• 학습된 인과적 요소에 대해 'do-연산'을 적용하여 반성적 이미지 생성을 가능하게 하여 인과적 추론과 '만약-그러면' 분석을 지원한다.
• 약한 감독 하에 모델의 식별 가능성에 대한 이론적 근거를 제시하며, 진정한 인과적 구조가 일정 수준까지 복원됨을 보여준다.
• CausalVAE 프레임워크의 유효성을 합성 데이터 및 실세계 기준인 CelebA와 같은 벤치마크에서 정량적·정성적 평가를 통해 입증한다.

제안 방법

• 독립적인 외생 잠재 요소를 학습된 DAG 구조를 통해 내생적이고 인과적으로 관련된 표현으로 변환하는 새로운 인과 레이어(구조적 인과 모델 레이어)를 도입한다.
• 학습된 인과 그래프에 사이클이 없도록 하는 추가적인 무사이클성 제약 조건을 포함한 수정된 VAE 목표 함수를 사용하여 유효한 방향성 비순환 그래프(DAG)를 보장한다.
• 무사이클성 제약 조건을 최적화하기 위해 확장된 라그랑주 승수법을 사용하여 인과 그래프의 미분 가능 학습을 가능하게 한다.
• 진정한 개념 레이블을 활용한 약한 감독을 통해 분리도를 유도하고 인과적 요소의 식별 가능성을 향상시킨다.
• SCM 레이어의 입력 및 출력 노드를 조작하여 간섭된 잠재 코드에 대해 'do-연산'을 적용함으로써 반성적 이미지 생성을 가능하게 한다.
• 수렴성과 학습된 인과 그래프의 정확도를 향상시키기 위해 인과 인접 행렬을 사전 학습하는 단계를 도입한다.

실험 결과

연구 질문

• RQ1 VAE 기반 프레임워크는 통계적 독립을 가정하는 것이 아니라, 기저의 인과적 관계를 반영하는 분리된 표현을 학습할 수 있는가?
• RQ2 제안된 CausalVAE 모델은 관측 데이터로부터 진정한 인과적 구조(DAG)를 정확히 식별할 수 있는가?
• RQ3 학습된 인과적 표현은 'do-연산'을 통해 의미 있는 반성적 생성을 지원할 수 있는가?
• RQ4 CausalVAE는 기존의 분리된 VAE와 비교해 의미 해석 가능성과 진정한 개념 레이블과의 일치도에서 뛰어나게 성능을 발휘하는가?
• RQ5 약한 감독은 학습된 인과적 표현의 식별 가능성과 충실도를 어느 정도 향상시키는가?

주요 결과

• CausalVAE는 학습 과정에서 빠르게 수렴하는 인접 행렬을 통해 진정한 기저 구조에 가까운 인과 DAG를 성공적으로 학습한다.
• CelebA 데이터셋에서 CausalVAE는 모든 기준 모델을 능가하는 최고 수준의 상호정보량(MIC/TIC)을 기록하며, 학습된 표현과 진정한 개념 레이블 간의 유사도를 확보한다.
• 간섭 실험 결과, 원인 요소(예: 미소)를 조작하면 그 영향(예: 입을 벌리는 것)이 정확히 변화하는 반면, 결과 요소를 조작해도 원인에 영향을 주지 않아 인과적 구조의 충실도를 확인한다.
• do-연산을 통해 생성된 반성적 이미지는 의미적으로 일관되며, 물리 법칙에 부합하는 방식으로 변화한다. 예를 들어, 진자 각도 변화에 따라 그림자 길이가 정확히 변화한다.
• 진자(Pendulum) 데이터셋에서 CausalVAE는 모든 이미지에 걸쳐 일관된 간섭 효과를 유지하지만, ConditionVAE는 변화가 의미 있게 전파되지 않아 더 뛰어난 모듈성과 인과적 추론 능력을 보여준다.
• 이론적 분석을 통해 약한 감독 하에 일정 수준까지 모델이 식별 가능하며, 진정한 인과적 요소의 복원이 가능하다는 것을 정당화한다.