[論文レビュー] Causal Discovery from Incomplete Data: A Deep Learning Approach

Yuhao Wang, Vlado Menkovski+3 more|arXiv (Cornell University)|Jan 15, 2020

Bayesian Modeling and Causal Inference参考文献 32被引用数 17

ひとこと要約

本論文は、GANとVAEを用いて欠損データの補完と因果構造同定を繰り返し行う深層学習フレームワークであるImputated Causal Learning (ICL) を提案する。ICLはMCARおよびMAR欠損メカニズム下で、最先端の手法を上回り、合成データおよび実世界データ（AutoMPGではSHD=9）において低い構造的ハンミング距離（SHD）を達成する。

ABSTRACT

As systems are getting more autonomous with the development of artificial intelligence, it is important to discover the causal knowledge from observational sensory inputs. By encoding a series of cause-effect relations between events, causal networks can facilitate the prediction of effects from a given action and analyze their underlying data generation mechanism. However, missing data are ubiquitous in practical scenarios. Directly performing existing casual discovery algorithms on partially observed data may lead to the incorrect inference. To alleviate this issue, we proposed a deep learning framework, dubbed Imputated Causal Learning (ICL), to perform iterative missing data imputation and causal structure discovery. Through extensive simulations on both synthetic and real data, we show that ICL can outperform state-of-the-art methods under different missing data mechanisms.

研究の動機と目的

• 標準的な因果発見アルゴリズムの性能を損なう欠損データが存在する状況における因果発見の挑戦に取り組む。
• 補完と因果構造推定を別々のステップとして扱うのではなく、同時に改善する統合学習フレームワークを構築する。
• 現実世界の観測データに一般的に見られる、完全にランダムに欠損する（MCAR）およびランダムに欠損する（MAR）メカニズムを処理する。
• 反復的補完とスケルトン学習後に得られる原因-結果ペアの非対称性を活用することで、因果発見の正確性を向上させる。
• 不完全なサンプルを破棄する補完戦略によるバイアスと情報損失を低減する。

提案手法

• ICLは、変分自己オートエンコーダ（VAEs）と生成対抗ネットワーク（GANs）を組み合わせた深層生成モデルを用い、不完全なデータの同時分布をモデル化する。
• フレームワークは反復的最適化を実行する：まずVAE-GANを用いて欠損値を補完し、次に微分可能因果発見モジュールを用いて因果スケルトンを精緻化する。
• 因果スケルトン学習は、変数間のグローバルな依存構造を特定し、方向性のないDAGとして表現する。
• 関数的因果モデル（FCMs）における非対称性を活用して、ペアワイズの因果方向を同定する。これは、原因と結果が異なる統計的性質を持つことに基づく。
• 補完と因果構造の精緻化を交互に繰り返すことで、データ回復と因果推論の相互改善を可能にする。
• 再構成誤差、因果構造の一貫性、因果方向の正確性をバランスさせる複合損失関数を用いて、エンド・ツー・エンドで訓練される。

実験結果

リサーチクエスチョン

• RQ1 深層学習フレームワークが、逐次的手法よりも性能を向上させるために、欠損データ補完と因果構造発見を同時に最適化できるか？
• RQ2 補完と因果発見の反復的結合が、MCARおよびMAR欠損メカニズム下での正確性にどのように影響するか？
• RQ3 不完全なデータにおいて、原因-結果ペアの非対称性を活用することで、因果方向同定の精度が向上するか？
• RQ4 構造的ハンミング距離（SHD）の観点から、ICLはGAN-DAG、LD-DAG、GESベースのアルゴリズムといった最先端手法と比べてどのように差をつけるか？
• RQ5 データの削除処理や、補完と発見を別々に実行するアプローチが、不完全なデータにおける因果発見性能にどの程度悪影響を及えるか？

主な発見

• 合成データセット（MCARおよびMAR欠損メカニズム下、欠損率10%、30%、50%）において、ICLはすべてのベースラインと比較して顕著に低い構造的ハンミング距離（SHD）を達成する。
• 10% MAR欠損のAutoMPGデータセットにおいて、ICLはSHD=9を達成し、SHD=11を報告したGAN-DAGを上回る。
• 非反復的なアプローチ（補完後に因果発見を実行）を採用するGAN-DAGの性能はICLに劣っており、反復的精緻化が重要であることが示された。
• 削除ベースの手法（欠損値を含むサンプルを削除）はバイアスを生じさせ、欠損率が5%を超えると性能が著しく低下する。
• MMPCベースの手法は非線形データに対して優れた性能を発揮するが、LiNGAMベースの手法は線形データに対してより効果的であることが示され、データ構造に応じた手法選択の重要性が浮き彫りになった。
• 結果から、補完と因果発見を別々に実行する（例：GAN-DAG）アプローチは、統合学習に比べて効果が劣ることが明らかになった。補完の誤差が因果推論に伝播するためである。