[論文レビュー] Generalized Independent Noise Condition for Estimating Latent Variable Causal Graphs

Feng Xie, Ruichu Cai+4 more|arXiv (Cornell University)|Oct 10, 2020

Bayesian Modeling and Causal Inference参考文献 31被引用数 10

ひとこと要約

本稿では、潜在共変数が因果的に関連する線形非ガウス型潜在変数モデル（LiNGLaMs）において、潜在変数因果グラフを推定するための一般化独立ノイズ（GIN）条件を提案する。GIN条件は、観測変数の線形結合と他の集合の統計的独立性をテストすることで、ルート潜在変数集合を同定し、因果構造（方向を含む）を回復する。合成データおよび実世界のデータにおいて、先行手法を上回る性能を発揮する。

ABSTRACT

Causal discovery aims to recover causal structures or models underlying the observed data. Despite its success in certain domains, most existing methods focus on causal relations between observed variables, while in many scenarios the observed ones may not be the underlying causal variables (e.g., image pixels), but are generated by latent causal variables or confounders that are causally related. To this end, in this paper, we consider Linear, Non-Gaussian Latent variable Models (LiNGLaMs), in which latent confounders are also causally related, and propose a Generalized Independent Noise (GIN) condition to estimate such latent variable graphs. Specifically, for two observed random vectors $\mathbf{Y}$ and $\mathbf{Z}$, GIN holds if and only if $ω^{\intercal}\mathbf{Y}$ and $\mathbf{Z}$ are statistically independent, where $ω$ is a parameter vector characterized from the cross-covariance between $\mathbf{Y}$ and $\mathbf{Z}$. From the graphical view, roughly speaking, GIN implies that causally earlier latent common causes of variables in $\mathbf{Y}$ d-separate $\mathbf{Y}$ from $\mathbf{Z}$. Interestingly, we find that the independent noise condition, i.e., if there is no confounder, causes are independent from the error of regressing the effect on the causes, can be seen as a special case of GIN. Moreover, we show that GIN helps locate latent variables and identify their causal structure, including causal directions. We further develop a recursive learning algorithm to achieve these goals. Experimental results on synthetic and real-world data demonstrate the effectiveness of our method.

研究の動機と目的

• 既存の因果探索手法が潜在変数同士や共変数の因果関係をモデル化できないという限界を解決すること。
• 各潜在要因ごとに少なくとも3つの純粋測定変数を要するランクに基づく共分散手法の制約を克服すること。
• 高次モーメントと非ガウス性を活用して、因果的方向を含む潜在因果構造を同定すること。
• 観測データから潜在変数グラフを推定する再帰的アルゴリズムを開発すること。
• 共変数間に因果的依存関係がある潜在変数設定に適用可能な独立ノイズ条件の一般化を提供すること。

提案手法

• 一般化独立ノイズ（GIN）条件の提案：観測ベクトル Y と Z に対して、ωᵀY と Z が独立であるとき、GIN が成立する。ここで ω は Y と Z の間の共分散から導出される。
• d-分離を用いたGINの定式化：GINが成立する際、Y の因果的に早い潜在共通原因が、Y を Z から d-分離する。
• Darmois-Skitovitch定理を用いて、潜在変数集合に親が存在する場合にGINが成立しないことを証明し、ルート集合の検出を可能にする。
• GINテストを用いてルート潜在変数集合を同定し、段階的に因果構造を回復する再帰的学習アルゴリズムの開発。
• クラスタベースのデータ構造にGINを適用し、潜在集合の半分の子を用いて独立性をテストすることで、因果順序を推定する。
• 非ガウス性と高次モーメントを活用して因果方向を区別し、同値クラスの爆発的増大を回避する。

実験結果

リサーチクエスチョン

• RQ1 独立ノイズ条件は、因果的に関連する潜在共変数を扱えるように一般化可能か？
• RQ2 非ガウス誤差を伴うLiNGLaMsにおいて、GIN条件はルート潜在変数集合を信頼性高く同定できるか？
• RQ3 標準的な条件付き独立性手法が失敗する状況でも、GINを用いて潜在変数間の因果方向を回復できるか？
• RQ4 再帰的GINベースのアルゴリズムの性能は、既存手法と比較して、潜在因果構造の同定において優れているか？
• RQ5 GINは、潜在変数因果探索における同値クラスのサイズをどの程度縮小できるか？

主な発見

• 独立ノイズ条件は、提案されたGIN条件の特殊ケースであることが確認され、その一般性が裏付けられた。
• GINは、潜在集合に親が存在しない場合の独立性テストに基づき、ルート潜在変数集合の同定を可能にする。
• 20個の潜在変数（60個の観測変数）を含む合成データにおいて、15%の潜在変数漏れと12%の潜在変数誤検出を想定した状況で、正しい順序付け率が79%に達した。
• 再帰的アルゴリズムは、複数の潜在変数が同じ観測変数に影響を与える状況でも、LiNGLaMsにおける因果構造（方向を含む）を効果的に回復できた。
• Byrne（2010）の実世界データでは、役割的対立、意思決定、感情的疲労といった妥当な潜在要因が同定され、仮説された構成概念と整合的であった。
• 3つの純粋測定変数が潜在要因ごとに必要とされるランクベース手法とは異なり、本手法は高次モーメントと非ガウス性を活用することで、より優れた性能を発揮し、そのような制約を回避できる。