[논문 리뷰] CausalGAN: Learning Causal Implicit Generative Models with Adversarial Training

Murat Kocaoglu, Christopher Snyder외 2명|arXiv (Cornell University)|2017. 09. 06.

Forensic and Genetic Research참고 문헌 1인용 수 73

한 줄 요약

본 논문은 주어진 인과 그래프에 따라 GAN 생성기를 구성하고 이진 레이블과 이미지에 대한 2단계 학습을 통해 관측 분포와 개입 분포를 샘플링할 수 있는 인과적 암시적 생성 모델을 학습하는 CausalGAN 및 CausalBEGAN을 제안한다.

ABSTRACT

We propose an adversarial training procedure for learning a causal implicit generative model for a given causal graph. We show that adversarial training can be used to learn a generative model with true observational and interventional distributions if the generator architecture is consistent with the given causal graph. We consider the application of generating faces based on given binary labels where the dependency structure between the labels is preserved with a causal graph. This problem can be seen as learning a causal implicit generative model for the image and labels. We devise a two-stage procedure for this problem. First we train a causal implicit generative model over binary labels using a neural network consistent with a causal graph as the generator. We empirically show that WassersteinGAN can be used to output discrete labels. Later, we propose two new conditional GAN architectures, which we call CausalGAN and CausalBEGAN. We show that the optimal generator of the CausalGAN, given the labels, samples from the image distributions conditioned on these labels. The conditional GAN combined with a trained causal implicit generative model for the labels is then a causal implicit generative model over the labels and the generated image. We show that the proposed architectures can be used to sample from observational and interventional image distributions, even for interventions which do not naturally occur in the dataset.

연구 동기 및 목표

• 레이블과 이미지에 대한 주어진 인과 그래프를 반영하는 샘플링을 갖는 생성모델 학습 동기를 제시한다.
• 레이블 생성과 이미지 생성을 분리하는 이단계 학습 접근법을 개발한다.
• 생성된 이미지가 조건부 및 개입 레이블 분포를 충족하도록 새로운 아키텍처(CausalGAN 및 CausalBEGAN)를 제안한다.
• 학습된 생성기가 올바른 클래스 조건부 이미지 분포에서 샘플링함을 이론적으로 보장한다.
• 레이블이 주어진 CelebA 데이터에서 인터벤션 샘플링이 관찰 데이터를 넘어 가능함을 실험으로 시연한다.

제안 방법

• GAN 생성기가 주어진 인과 그래프와 일치하도록 구조화하여 샘플링이 인과 기전에 따라 흐르도록 한다.
• 그래프 일치하는 생성기를 이용해 이진 레이블에 대한 인과적 암시적 생성모델을 먼저 학습한다.
• 두 번째로 학습된 레이블에 조건화된 이미지 생성기를 학습시켜 레이블과 이미지의 결합 인과적 암시적 모델을 얻는다.
• 레이블-생성기(Labeler)와 반레이블(R Anti-Labeler)을 도입하여 레이블 조건부 이미지 생성을 강제하고 레이블 조건부 모드 붕괴를 방지한다.
• 레이블을 포함시키면서 BEGAN 수렴 특성을 유지하기 위해 마진-기반 손실을 추가한 CausalBEGAN으로 BEGAN을 확장한다.
• 레이블을 주어진 조건에서 조건부 이미지 분포에서 최적 생성기가 샘플링함을 보장하는 이론적 보장을 제공한다.

실험 결과

연구 질문

• RQ1 대적적 학습(adversarial training)을 어떻게 사용하여 주어진 인과 그래프와 일치하는 인과적 암시적 생성모델을 학습할 수 있는가?
• RQ2 이진 레이블과 이미지에 대한 2단계 학습 절차가 관찰 및 개입 분포에서 샘플링하는 모델을 얻는가?
• RQ3 제안된 CausalGAN 및 CausalBEGAN 아키텍처가 레이블 주어졌을 때 조건부 및 개입 이미지 분포에서 샘플링을 보장하는가?
• RQ4 causal conditional GAN 설정에서 Anti-Labeler를 사용하여 레이블 조건부 모드 붕괴를 완화할 수 있는가?
• RQ5 CelebA 같은 실제 데이터로의 접근 방식이 인터벤션하에서 joint 레이블 및 이미지 생성을 얼마나 잘 전달하는가?

주요 결과

• 그래프-일치 생성기를 사용한 적대적 학습은 관찰 및 개입 분포를 샘플링할 수 있는 인과적 암시적 생성모델을 학습한다.
• 두 단계 절차로 먼저 이진 레이블을 학습하고, 이후 해당 레이블에 조건화된 이미지를 학습하여 그래프-일치 샘플링이 가능하다.
• 레이블-생성기와 반-레이블러를 활용하는 CausalGAN 프레임워크는 생성기가 클래스 조건부 이미지 분포에서 샘플링하도록 보장하고 레이블 조건부 모드 붕괴를 완화한다.
• 레이블 인지 마진 메커니즘을 도입한 CausalBEGAN은 BEGAN 수렴 특성을 유지하면서 레이블을 포함한다.
• 이 아키텍처들은 학습 데이터에 없는 개입 분포에서 샘플링이 가능함을 CelebA 데이터에 대해 실험적으로 시연한다.
• 이 방법의 코드가 온라인에서 제공된다.