[論文レビュー] CausalGAN: Learning Causal Implicit Generative Models with Adversarial Training

Murat Kocaoğlu, Chris Snyder+2 more|arXiv (Cornell University)|Sep 6, 2017

Generative Adversarial Networks and Image Synthesis被引用数 76

ひとこと要約

因果GANと因果BEGANを提案し、因果グラフの下で観測分布と介入分布からサンプリング可能な因果的暗黙生成モデルを対立的学習で学習します。二段階の訓練プロセスで観測データと介入データをサンプリング可能にします。

ABSTRACT

We propose an adversarial training procedure for learning a causal implicit\ngenerative model for a given causal graph. We show that adversarial training\ncan be used to learn a generative model with true observational and\ninterventional distributions if the generator architecture is consistent with\nthe given causal graph. We consider the application of generating faces based\non given binary labels where the dependency structure between the labels is\npreserved with a causal graph. This problem can be seen as learning a causal\nimplicit generative model for the image and labels. We devise a two-stage\nprocedure for this problem. First we train a causal implicit generative model\nover binary labels using a neural network consistent with a causal graph as the\ngenerator. We empirically show that WassersteinGAN can be used to output\ndiscrete labels. Later, we propose two new conditional GAN architectures, which\nwe call CausalGAN and CausalBEGAN. We show that the optimal generator of the\nCausalGAN, given the labels, samples from the image distributions conditioned\non these labels. The conditional GAN combined with a trained causal implicit\ngenerative model for the labels is then a causal implicit generative model over\nthe labels and the generated image. We show that the proposed architectures can\nbe used to sample from observational and interventional image distributions,\neven for interventions which do not naturally occur in the dataset.\n

研究の動機と目的

• ラベルと画像の間に与えられた因果グラフを尊重する生成モデルの学習を動機づける。
• まず2値ラベルをモデル化し、次にそれらのラベルに条件付けて画像を生成する二段階の訓練手順を開発する。
• 条件付きおよび介入分布を反映するサンプルを保証する新しいアーキテクチャ（CausalGANとCausalBEGAN）を導入する。
• 訓練済みジェネレータが望ましいクラス条件付き分布からサンプリングすることを示す理論的保証を提供する。
• CelebAでの適用性をデモンストレーションし、データセットに存在しない介入への外挿を示す。

提案手法

• 生成変数が因果依存関係に従うよう、与えられた因果グラフと整合するように生成器ネットワークを構造化する。
• グラフと一致するラベルを出力する離散/二値ラベル生成器（Causal Controller）を訓練するためにWassersteinGANを用いる。
• LabelerとAnti-Labelerを備え、ラベル条件付き画像分布からのサンプリングを保証する条件付きGANアーキテクチャであるCausalGANを開発する。
• 画像ラベルをマージン・オブ・マージン損失を介して組み込み、ラベルで条件付けしつつ画像品質を維持するBEGANベースの拡張であるCausalBEGANを導入する。
• 提案損失の下で最適な生成器がラベルを与えられた条件付き画像分布からサンプリングすること（およびそのことにより画像を含む結合因果モデル）を証明する。
• ラベルの因果的暗黙モデルを学習し、次にラベルに基づく画像の条件付き生成器を学習する二段階の手順を提供する。

実験結果

リサーチクエスチョン

• RQ1 敵対的トレーニングは、既知の因果グラフを尊重し、正しい観測分布と介入分布を生成する因果的暗黙生成モデルを生み出すことができるか？
• RQ2 ラベル（二値）が因果グラフと整合するように学習され、画像がそれらのラベルに条件付けて生成される二段階モデルをどのように訓練できるか？
• RQ3 提案されたアーキテクチャ（CausalGANとCausalBEGAN）は、クラス条件付きおよび介入画像分布からのサンプリングを保証するか？
• RQ4 トレーニングデータに存在しない介入（例：口ひげを生やした女性）に方法が外挿でき、ラベルの一貫性を維持できるか？

主な発見

• このフレームワークは、因果グラフを与えられた観測分布および介入分布からのサンプリングを可能にする。
• 二段階の訓練手順は、まず二値ラベル上の因果暗黙モデルを学習し、その後ラベルに条件付けて画像を学習する。
• LabelerとAnti-Labelerの損失を用いたCausalGANは、正しいラベル条件付き画像分布からのサンプルを生成する。
• CausalBEGANはBEGANを拡張し、ラベル対応のマージン機構を組み込んで高品質でラベル整合の画像を生み出す。
• CelebAでの実験は、訓練中に見られない介入（例：口ひげのある女性）でも現実的でラベル整合の画像を生成できることを示す。
• CausalGANのコードは著者のリポジトリで公開される。