[論文レビュー] Weakly Supervised Disentangled Generative Causal Representation Learning

Xinwei Shen, Furui Liu+4 more|arXiv (Cornell University)|Oct 6, 2020

Domain Adaptation and Few-Shot Learning被引用数 24

ひとこと要約

本稿では、因果的関係を持つ要因を正確に分離可能にするために構造的因果モデル（SCM）を事前分布として用いる双方向生成モデルにおける弱教師付き分離生成因果表現学習手法DEARを提案する。従来の独立事前分布に依存する手法とは異なり、因果的依存関係下でも失敗するが、DEARはGANフレームワークを用いて生成器、エンコーダ、SCM事前分布を共同で学習することで、識別可能で制御可能な生成を実現し、下流タスクにおけるサンプル効率とロバスト性を向上させる。

ABSTRACT

This paper proposes a Disentangled gEnerative cAusal Representation (DEAR) learning method under appropriate supervised information. Unlike existing disentanglement methods that enforce independence of the latent variables, we consider the general case where the underlying factors of interests can be causally related. We show that previous methods with independent priors fail to disentangle causally related factors even under supervision. Motivated by this finding, we propose a new disentangled learning method called DEAR that enables causal controllable generation and causal representation learning. The key ingredient of this new formulation is to use a structural causal model (SCM) as the prior distribution for a bidirectional generative model. The prior is then trained jointly with a generator and an encoder using a suitable GAN algorithm incorporated with supervised information on the ground-truth factors and their underlying causal structure. We provide theoretical justification on the identifiability and asymptotic convergence of the proposed method. We conduct extensive experiments on both synthesized and real data sets to demonstrate the effectiveness of DEAR in causal controllable generation, and the benefits of the learned representations for downstream tasks in terms of sample efficiency and distributional robustness.

研究の動機と目的

• 因果的関係を持つ要因が存在する状況でも、独立事前分布に依存する従来の分離手法が失敗する問題を解決すること。
• 潜在変数の事前分布を構造的因果モデル（SCM）としてモデル化することで、因果的依存関係下でも分離可能な表現学習を実現する新手法の開発。
• 提案手法の識別可能性および漸近的収束性に関する理論的裏付けの提供。
• 学習された表現が因果的制御生成および下流タスク（特に分布シフト下でのサンプル効率と分布的ロバスト性の向上）においても有効であることを実証すること。

提案手法

• 潜在変数の事前分布として構造的因果モデル（SCM）を用いる双方向生成モデル（生成器とエンコーダ）を導入し、独立事前分布を置き換える。
• 潜在要因を、各ノードが要因を表し、エッジが直接的因果的影響を表す因果グラフとしてモデル化する。因果構造のスーパーグラフは事前に既知であると仮定する。
• 弱教師付きラベルによる真の要因の情報を利用し、生成器、エンコーダ、SCM事前分布をGANベースの最適化フレームワークで共同で学習する。
• 実データと生成データを区別するディスクラミネーターを用いたGAN目的関数を採用。エンコーダは観測値を潜在変数にマッピングし、生成器は潜在変数からデータを再構築する。
• 潜在表現と真の要因を一致させるための教師付き正則化項を導入し、バランス調整のための係数λ=1000を用いる。
• データ再構築と因果構造の一貫性の両方を強制する共同学習手順を採用し、分離可能で因果的に整合性のある生成を実現する。

実験結果

リサーチクエスチョン

• RQ1 独立事前分布に依存する従来の分離手法は、弱教師付き条件下でも因果的関係を持つ要因を正しく分離できるか？
• RQ2 潜在事前分布を構造的因果モデル（SCM）としてモデル化することで、要因が因果的依存関係にある場合に、より優れた分離と制御可能な生成が可能になるか？
• RQ3 仮定された因果構造下で、提案手法DEARは識別可能かつ漸近的に収束するか？
• RQ4 DEARが学習した分離表現は、分布シフト下でも下流予測タスクにおけるサンプル効率とロバスト性を向上させられるか？

主な発見

• 独立事前分布手法が失敗する因果的関係を持つ要因でも、DEARはたった100サンプルのラベル付きデータのみで正しく分離に成功する。
• 滑らかで解釈可能な潜在変動と、因果的順序に従った介入が可能であることを示し、優れた分離性と制御可能な生成性能を達成している。
• 因果的介入実験では、原因変数に介入するとその影響が後続の効果変数に現れるが、効果変数に介入しても原因に影響を与えない。これは正しい因果構造のモデル化を示している。
• 生成品質と分離性の両面で、S-VAEs、GraphVAE、CausalGANを上回り、特に連続的で意味のある要因の変動を捉える点で優れた性能を示している。
• 学習された表現は、下流予測タスクにおいてサンプル効率と分布的ロバスト性の両面で向上をもたらし、因果的分離の不変性を裏付けている。
• 理論的分析により、仮定された因果構造下で表現の識別可能性とDEARアルゴリズムの漸近的収束性が確認された。