[論文レビュー] CausalVAE: Structured Causal Disentanglement in Variational Autoencoder

Mengyue Yang, Furui Liu+4 more|arXiv (Cornell University)|Apr 18, 2020

Topic Modeling参考文献 14被引用数 15

ひとこと要約

CausalVAEは、構造的因果モデル（SCM）層を備えた変分オートエンコーダフレームワークを提案し、データから分離可能で因果的に構造化された表現を学習することで、do操作を用いた正確な因果グラフ同定と反事後的生成を可能にする。本モデルはDAG構造の制約と弱い教師信号を活用することで、最先端の分離性を達成しており、合成データおよびCelebAデータセットにおける実証的評価により、高い意味的解釈可能性と因果的整合性を示している。

ABSTRACT

Learning disentanglement aims at finding a low dimensional representation which consists of multiple explanatory and generative factors of the observational data. The framework of variational autoencoder (VAE) is commonly used to disentangle independent factors from observations. However, in real scenarios, factors with semantics are not necessarily independent. Instead, there might be an underlying causal structure which renders these factors dependent. We thus propose a new VAE based framework named CausalVAE, which includes a Causal Layer to transform independent exogenous factors into causal endogenous ones that correspond to causally related concepts in data. We further analyze the model identifiabitily, showing that the proposed model learned from observations recovers the true one up to a certain degree by providing supervision signals (e.g. feature labels). Experiments are conducted on various datasets, including synthetic and real word benchmark CelebA. Results show that the causal representations learned by CausalVAE are semantically interpretable, and their causal relationship as a Directed Acyclic Graph (DAG) is identified with good accuracy. Furthermore, we demonstrate that the proposed CausalVAE model is able to generate counterfactual data through "do-operation" to the causal factors.

研究の動機と目的

• 既存の分離表現学習手法が独立要因を仮定するという制限に対処すること。これは、因果的依存関係を有する現実世界のシナリオではしばしば失敗する。
• 観測データから因果的に関連する意味的意味のある要因を学習する深層生成モデルの開発。事前に因果構造を必要としない。
• 学習された因果要因に対して'do操作'を適用することで反事後的生成を可能とし、因果的推論と「もし～なら」分析を支援すること。
• 弱い教師信号の下でのモデル同定可能性に対する理論的裏付けを提供し、真の因果構造が一定程度まで回復可能であることを示すこと。
• CausalVAEの有効性を合成データおよびCelebAなどの現実世界のベンチマークで示し、定量的・定性的な評価を実施すること。

提案手法

• 独立な外生的潜在要因を学習されたDAG構造を介して内生的・因果的に関連する表現に変換する新規な因果層（SCM層）を導入する。
• 因果グラフに巡回性制約を追加した修正されたVAE目的関数を採用し、学習された構造が有効な有向無閉路グラフ（DAG）であることを保証する。
• 巡回性制約の最適化に拡張ラグランジュ法を用い、因果グラフの微分可能トレーニングを可能にする。
• 真の概念ラベルを用いた弱い教師信号を活用し、分離性の向上と因果要因の同定可能性の向上を図る。
• SCM層の入力および出力ノードを操作することで、介入された潜在コードに対して'do操作'を適用し、反事後的画像生成を実現する。
• 因果隣接行列の初期化を目的とした事前学習フェーズを導入し、学習された因果グラフの収束性と正確性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 VAEベースのフレームワークは、統計的独立性を仮定するのではなく、背後にある因果関係を反映した分離可能な表現を学習できるか？
• RQ2 提案されたCausalVAEモデルは、観測データから真の因果構造（DAG）を正確に同定できるか？
• RQ3 学習された因果表現は、do操作を用いた意味的整合性のある反事後的生成を可能にするか？
• RQ4 CausalVAEは、既存の分離VAEと比較して、意味的解釈可能性および真の概念ラベルとの整合性において優れているか？
• RQ5 弱い教師信号は、学習された因果表現の同定可能性および忠実度をどの程度向上させるか？

主な発見

• CausalVAEは、真の背後構造に近い因果DAGを効率的に学習し、隣接行列がトレーニング中に急速に収束することが確認された。
• CelebAにおいて、CausalVAEはすべてのベースラインを上回る、学習された表現と真の概念ラベル間の相互情報量（MIC/TIC）を達成した。
• 介入実験では、原因要因（例：笑顔）を操作するとその結果（例：口が開く）が正しく変化する一方、結果要因を操作しても原因に影響がないことが確認され、因果構造の整合性が裏付けられた。
• do操作を用いた反事後的画像生成は意味的に整合性があり、物理法則に従う。例えば、振り子の角度に応じて影の長さが正しく変化する。
• 振り子データセットでは、CausalVAEは画像全体にわたり一貫した変更効果を維持しているが、ConditionVAEは変更を意味的に適切に伝達できず、より優れたモジュラリティと因果的推論能力を示した。
• 理論的分析により、弱い教師信号の下でモデルが一定の度合いまで同定可能であることが確認され、真の因果要因の回復が正当化された。