[論文レビュー] Causal normalizing flows: from theory to practice

Adrián Javaloy, Pablo Sánchez‐Martín+1 more|arXiv (Cornell University)|Jun 8, 2023

Topic Modeling被引用数 4

ひとこと要約

本論文は、因果順序を用いて観測データから構造的因果モデルを特定・推定するための因果正規化フロー（Causal NFs）を提案する。これは自己回帰的正規化フローを活用する深層生成モデルであり、実装されたdo演算子により正確な介入および反実仮想的推論を可能にする。混合離散連続データおよび部分的因果グラフにおいて優れた性能を示し、既存の単一DNNアプローチを上回る。

ABSTRACT

In this work, we deepen on the use of normalizing flows for causal reasoning. Specifically, we first leverage recent results on non-linear ICA to show that causal models are identifiable from observational data given a causal ordering, and thus can be recovered using autoregressive normalizing flows (NFs). Second, we analyze different design and learning choices for causal normalizing flows to capture the underlying causal data-generating process. Third, we describe how to implement the do-operator in causal NFs, and thus, how to answer interventional and counterfactual questions. Finally, in our experiments, we validate our design and training choices through a comprehensive ablation study; compare causal NFs to other approaches for approximating causal models; and empirically demonstrate that causal NFs can be used to address real-world problems, where the presence of mixed discrete-continuous data and partial knowledge on the causal graph is the norm. The code for this work can be found at https://github.com/psanch21/causal-flows.

研究の動機と目的

• 観測データから因果順序のみを用いて構造的因果モデルを特定・推定できる深層生成モデルを開発すること。
• 因果的依存関係を内蔵し、因果グラフ構造を尊重する正規化フローを設計すること。
• 正規化フロー内にdo演算子を実装し、正確な介入および反実仮想的推論を可能にすること。
• 混合離散連続変数および部分的因果知識を有する実世界データセット上でフレームワークを検証すること。
• 因果データ生成過程の近似において、既存の単一DNNアプローチを上回ること。

提案手法

• 自己回帰的正規化フロー（NF）を用いて、内生変数の連合分布をモデル化し、因果順序によってパrameter化する。
• 隣接行列Aと因果順序πを用いて因果構造を埋め込み、自己回帰的フローの条件付き依存関係を定義する。
• 介入変数を固定するようにフローの条件付き分布を変更することでdo演算子を実装し、正確な介入密度推定を可能にする。
• 適切な条件付き分布（例えばカテゴリカル分布および連続的フロー）を正規化フローに組み込むことで、混合離散連続データをサポートする。
• 各変数の分布をその因果的親に条件づけることで、フローの自己回帰的構造を通じて因果知識を組み込む。
• 観測データにおける最尤推定を用いた、全因果モデルのエンドツーエンド学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 既知の因果順序のもとで、因果正規化フローは観測データから構造的因果モデルを同定できるか？
• RQ2 因果構造を正規化フローにどのように埋め込むことで、正しい条件付き依存関係を確保できるか？
• RQ3 正規化フローにdo演算子を効果的に実装し、正確な介入および反実仮想的推論を可能にできるか？
• RQ4 提案されたCausal NFは、他の深層生成モデルと比較して因果推論タスクでどのように性能を発揮するか？
• RQ5 Causal NFは、混合離散連続変数および部分的因果知識を有する実世界データを処理できるか？

主な発見

• Causal NFは、SIMPSONNLINや5-CHAINLINといった合成ベンチマークで真の介入分布を正確に回復し、do(x3 = −1.09)およびdo(x3 = 2.18)の推定が的確に行われた。
• 介入に影響を受けない相関関係は保持されており、介入後に先祖から子孫への依存関係が正しく遮断されていることが示された。
• ドイツ信用データセットにおいて、部分的因果グラフ知識と混合データ型を有しても、観測分布および介入分布（do(x1 = 1)）の両方に対して良好なフィットを達成した。
• アブレーションスタディにより、NSFに3層MLPを用い、Adamを学習率0.01で使用するという設計選択が最適な性能をもたらすことが確認された。
• 特に複雑な依存関係や混合データの処理において、Causal NFは競合する単一DNN手法を上回り、因果データ生成過程の近似に優れた性能を示した。
• 公平性監査タスクにおいても、観測データと部分的因果構造のみを用いて、性別が信用結果に与える因果的影響を正確にモデル化できた。