[論文レビュー] CausalGAN: Learning Causal Implicit Generative Models with Adversarial Training

Murat Kocaoglu, Christopher Snyder+2 more|arXiv (Cornell University)|Sep 6, 2017

Forensic and Genetic Research参考文献 1被引用数 73

ひとこと要約

本論文では、因果グラフに従ってGAN生成器を構築し、二段階の学習をバイナリラベルと画像に対して適用することで、観測分布と介入分布をサンプルできる因果的暗黙生成モデルを学習するための CausalGAN および CausalBEGAN を提案します。

ABSTRACT

We propose an adversarial training procedure for learning a causal implicit generative model for a given causal graph. We show that adversarial training can be used to learn a generative model with true observational and interventional distributions if the generator architecture is consistent with the given causal graph. We consider the application of generating faces based on given binary labels where the dependency structure between the labels is preserved with a causal graph. This problem can be seen as learning a causal implicit generative model for the image and labels. We devise a two-stage procedure for this problem. First we train a causal implicit generative model over binary labels using a neural network consistent with a causal graph as the generator. We empirically show that WassersteinGAN can be used to output discrete labels. Later, we propose two new conditional GAN architectures, which we call CausalGAN and CausalBEGAN. We show that the optimal generator of the CausalGAN, given the labels, samples from the image distributions conditioned on these labels. The conditional GAN combined with a trained causal implicit generative model for the labels is then a causal implicit generative model over the labels and the generated image. We show that the proposed architectures can be used to sample from observational and interventional image distributions, even for interventions which do not naturally occur in the dataset.

研究の動機と目的

• ラベルと画像に対して与えられた因果グラフを反映したサンプリングを行う生成モデルの学習を動機づける。
• ラベル生成と画像生成を分離する二段階の訓練アプローチを開発する。
• 生成画像が条件付きおよび介入付きのラベル分布に一致することを保証する新しいアーキテクチャ（CausalGAN および CausalBEGAN）を提案する。
• 訓練済み生成器が正しいクラス条件付き画像分布からサンプルすることを保証する理論的保証を提供する。
• ラベル付きCelebAデータでの実現可能性を示し、観測データを超える介入サンプリングを示す。

提案手法

• GAN生成器を与えられた因果グラフと整合するように構造化し、サンプリングが因果メカニズムに従うようにする。
• まず、グラフと整合した生成器を用いて、二値ラベル上の因果的暗黙生成モデルを訓練する。
• 次に、学習したラベルに条件付けられた条件付き画像生成器を訓練し、ラベルと画像の結合因果的暗黙モデルを得る。
• Labeler と Anti-Labeler を備えた CausalGAN を導入し、ラベル条件付きの画像生成を強制し、ラベル条件付きのモード崩壊を防ぐ。
• マージン・オブ・マージンを用いたマージンベースの損失を追加して、ラベルを組み込みつつ BEGAN の収束特性を維持することで BEGAN を CausalBEGAN に拡張する。
• ラベルが与えられた場合の条件付き画像分布から最適な生成器がサンプルを生成するという理論的保証を提供する。

実験結果

リサーチクエスチョン

• RQ1 敵対的訓練を用いて、与えられた因果グラフと整合する因果的暗黙生成モデルをどのように学習できるか？
• RQ2 二段階の訓練手順が、観測分布および介入分布からサンプルするモデルを生み出すか？
• RQ3 提案された CausalGAN および CausalBEGAN アーキテクチャは、ラベル given に対する条件付きおよび介入済みの画像分布からサンプルすることを保証するか？
• RQ4 因果条件付き GAN 設定で Anti-Labeler を用いてラベル条件付きのモード崩壊を緩和できるか？
• RQ5 介入下での共同ラベルと画像生成のために CelebA などの実世界データへアプローチをどの程度適用できるか？

主な発見

• グラフと整合した生成器を用いた敵対的訓練は、観測的および介入的分布をサンプリングできる因果的暗黙生成モデルを学習する。
• 二段階の手続きは、まず二値ラベルを効果的に学習し、それらのラベルに条件付けられた画像を学習することで、グラフ整合的なサンプリングを可能にする。
• Labeler と Anti-Labeler を備えた CausalGAN フレームワークは、生成器がクラス条件付きの画像分布からサンプルすることを保証し、ラベル条件付きのモード崩壊を緩和する。
• CausalBEGAN は BEGAN を拡張し、ラベル対応のマージン機構を備えることで、ラベルを取り入れつつ BEGAN の収束性を維持する。
• これらのアーキテクチャは、学習データに存在しない介入分布からのサンプリングを可能にし、ラベル付き CelebA データで実証された。
• 本手法のコードがオンラインで利用可能。