[論文レビュー] Combining Linear Non-Gaussian Acyclic Model with Logistic Regression Model for Estimating Causal Structure from Mixed Continuous and Discrete Data

Chao Li, Shohei Shimizu|arXiv (Cornell University)|Feb 16, 2018

Bayesian Modeling and Causal Inference参考文献 10被引用数 3

ひとこと要約

本稿では、連続変数に対して線形非ガウス線形モデル（LiNGAM）と離散変数に対してロジスティック回帰を組み合わせたハイブリッド因果モデルを提案する。この手法により、離散化を伴わずに混合データから完全な因果構造を同定可能となる。モデル選択にはBICスコア関数を用い、シミュレーションでは漸近的整合性を示し、離散化に基づく手法（例：PCアルゴリズム）を上回る性能を発揮する。

ABSTRACT

Estimating causal models from observational data is a crucial task in data analysis. For continuous-valued data, Shimizu et al. have proposed a linear acyclic non-Gaussian model to understand the data generating process, and have shown that their model is identifiable when the number of data is sufficiently large. However, situations in which continuous and discrete variables coexist in the same problem are common in practice. Most existing causal discovery methods either ignore the discrete data and apply a continuous-valued algorithm or discretize all the continuous data and then apply a discrete Bayesian network approach. These methods possibly loss important information when we ignore discrete data or introduce the approximation error due to discretization. In this paper, we define a novel hybrid causal model which consists of both continuous and discrete variables. The model assumes: (1) the value of a continuous variable is a linear function of its parent variables plus a non-Gaussian noise, and (2) each discrete variable is a logistic variable whose distribution parameters depend on the values of its parent variables. In addition, we derive the BIC scoring function for model selection. The new discovery algorithm can learn causal structures from mixed continuous and discrete data without discretization. We empirically demonstrate the power of our method through thorough simulations.

研究の動機と目的

• 既存の因果発見手法が離散変数を無視するか、連続変数を離散化することで情報損失や近似誤差を生じるという限界を解消すること。
• 識別可能な構造的仮定を用いて、連続および離散変数を同時に取り扱う統一的因果モデルの構築。
• 混合変数設定におけるモデル選択のためのBICスコア関数の導出。これにより、一貫性のある因果構造学習が可能となる。
• 最先端の手法（例：離散化を伴うPCアルゴリズム）と比較して、本手法の性能を実証的に検証すること。

提案手法

• 連続変数は、加法的非ガウスノイズを伴う線形非ガウス線形モデル（LiNGAM）に従うと仮定する。
• 離散変数はロジスティック回帰でモデル化され、結果の対数オッズが親変数に対して線形に依存する。
• DAG構造に基づいて結合尤度を因子分解し、ガウス的およびロジスティック的条件付き密度を組み合わせる。
• 候補となるDAG構造の評価に用いるBICスコア関数を導出。モデルの複雑さと対数尤度を組み合わせる。
• Pythonで実装された探索アルゴリズムを用いて、すべての可能なDAG上でのBICスコアの最大化を実行。
• データの離散化を回避することで、情報の損失を防ぎ、完全な因果構造の同定を可能にする。

実験結果

リサーチクエスチョン

• RQ1 LiNGAMとロジスティック回帰を組み合わせたハイブリッド因果モデルは、混合連続および離散データにおいて真の因果構造を同定できるか？
• RQ2 提案されたBICスコア関数は、サンプルサイズが増加するにつれて真のDAGを一貫して回復できるか？
• RQ3 本手法の性能は、離散化に基づく手法（例：PCアルゴリズム）と比較して、混合データにおいてどのように異なるか？
• RQ4 連続変数の数が多くなると、離散化に基づく手法の性能にどの程度影響を与えるか？
• RQ5 スケルトンが既知の場合、本手法は必要なサンプル数を減らして高精度なDAG構造の回復が可能か？

主な発見

• 提案手法は漸近的整合性を示し、サンプル数が増加するにつれて真の因果構造を正しく回復する。
• 離散化を伴うPCアルゴリズムと比較して、特に連続変数の数が多い場合に顕著に優れた性能を発揮する。これは、離散化による情報損失が少ないためである。
• スケルトンが既知の場合、ハイブリッド・オラクル手法はたった100サンプルで全DAG構造の80％の精度で回復できる。
• 離散化を伴うPCアルゴリズムの性能は、連続変数の数が増えるにつれて劣化し、離散化が因果発見に与える悪影響を裏付ける。
• 提案された仮定のもとでBICスコア関数は一意なモデル選択を可能にし、マルコフ同値クラスの問題を回避する。
• 離散化を回避することで、本手法は直接的に混合データ型をモデル化することに成功し、完全な因果構造の同定を達成した。