[論文レビュー] Causal Discovery from Incomplete Data using An Encoder and Reinforcement Learning

Xiaoshui Huang, Fujin Zhu+2 more|arXiv (Cornell University)|Jun 9, 2020

Bayesian Modeling and Causal Inference参考文献 24被引用数 4

ひとこと要約

本論文は、欠損データからの頑健な特徴表現を学習するためのディープエンコーダーを統合した強化学習（RL）ベースの因果発見手法を提案する。この手法により、欠損値が存在する状況下でもエンド・ツー・エンドの因果構造学習が可能になる。直接的な補完と組み合わせる手法に比べ、非線形モデルにおける欠損データに対して最大43.2%のTPR向上を達成した。

ABSTRACT

Discovering causal structure among a set of variables is a fundamental problem in many domains. However, state-of-the-art methods seldom consider the possibility that the observational data has missing values (incomplete data), which is ubiquitous in many real-world situations. The missing value will significantly impair the performance and even make the causal discovery algorithms fail. In this paper, we propose an approach to discover causal structures from incomplete data by using a novel encoder and reinforcement learning (RL). The encoder is designed for missing data imputation as well as feature extraction. In particular, it learns to encode the currently available information (with missing values) into a robust feature representation which is then used to determine where to search the best graph. The encoder is integrated into a RL framework that can be optimized using the actor-critic algorithm. Our method takes the incomplete observational data as input and generates a causal structure graph. Experimental results on synthetic and real data demonstrate that our method can robustly generate causal structures from incomplete data. Compared with the direct combination of data imputation and causal discovery methods, our method performs generally better and can even obtain a performance gain as much as 43.2%.

研究の動機と目的

• 観測データに欠損値が存在する場合の因果発見の課題に対処すること。これは、既存手法の性能を著しく低下させる要因となる。
• データ補完と因果構造学習を別々の段階として扱うのでなく、統合的なフレームワークとして同時に処理する。
• 欠損していない値に注目することで、人間の類似的推論を模倣し、非欠損値から頑健な特徴表現を学習すること。
• 欠損データ上で強化学習を用いて因果グラフ発見をエンド・ツー・エンドで最適化すること。
• 非線形および現実世界のデータセットにおいて欠損値が存在する状況でも、因果発見の頑健性と正確性を向上させること。

提案手法

• 非欠損値に注目することで、欠損のある観測データから頑健な特徴表現を抽出するためのカスタムニューラルネットワークエンコーダーを設計した。
• エンコーダーの出力を、連続空間における最適なDAG（有向非巡回グラフ）を探索する強化学習エージェントの入力として使用した。
• エージェントはアクター・クリティック法を用い、グラフスコア関数に基づく報酬からポリシーを最適化した。
• システム全体をエンド・ツー・エンドで訓練し、エンコーダーとRLポリシーの両方を同時に最適化して因果構造を発見した。
• 独立した補完ステップを回避するため、データ補完と特徴抽出を1つの微分可能フレームワークに統合した。
• RLフレームワーク内では、BICや尤度に基づく基準といったスコア関数を用いて評価した。

実験結果

リサーチクエスチョン

• RQ1 ディープエンコーダーは、因果発見のための意味のある表現を、欠損のある観測データから効果的に抽出できるか？
• RQ2 統合されたRLフレームワーク内でデータ補完と因果構造学習を統合することで、逐次的な補完と発見に比べて性能が向上するか？
• RQ3 データに最大20%の欠損値が存在する場合、真の因果構造をどれほど回復できるか、本手法の頑健性はいかがなものか？
• RQ4 非線形モデルに欠損値が存在する状況で、本手法は最先端の因果発見アルゴリズムを上回る性能を示せるか？
• RQ5 学習済みエンコーダーを備えたエンド・ツー・エンドのRLフレームワークは、欠損値が存在する現実世界の生物学的データセットに対しても一般化性を示せるか？

主な発見

• 20%の欠損値を含む非線形合成データにおいて、本手法はGAIN+NOTEARSに比べて31%高いTPRと6点低いSHDを達成した。
• 欠損値を含む非線形ガウス過程モデルにおいて、本手法はGAIN+RL+BIC2に比べてTPRで43.2%の性能向上を達成し、SHDを19ポイント低減した。
• 実世界のT細胞シグナル伝達データにおいて、本手法はGAIN+NOTEARSおよびGAIN+RL+BIC2を上回り、SHDが13、TPRが41.1%を達成した。対照的に、次に優れた手法はSHDが18、TPRが11.8%であった。
• 実データにおける低FDRと高いTPRは、本手法が偽陽性を効果的に低減しながら真のエッジを回復できることを示している。
• エンコーディングとRLのエンド・ツー・エンド統合が、単独の補完後に構造学習を行う手法よりも顕著に優れた因果発見性能をもたらすことが実証された。
• 本手法は、欠損値が存在する合成データおよび現実世界のデータセットの両方で頑健な性能を維持しており、優れた一般化能力を示している。