[论文解读] Causal Discovery from Incomplete Data using An Encoder and Reinforcement Learning

Xiaoshui Huang, Fujin Zhu+2 more|arXiv (Cornell University)|Jun 9, 2020

Bayesian Modeling and Causal Inference参考文献 24被引用 4

一句话总结

该论文提出了一种基于强化学习（RL）的因果发现方法，通过引入深度编码器从不完整数据中提取鲁棒的特征表示，实现了在存在缺失值情况下的端到端因果结构学习。该方法优于直接结合插补与学习的方法，在非线性模型中缺失数据下的真正例率（TPR）最高提升了43.2%。

ABSTRACT

Discovering causal structure among a set of variables is a fundamental problem in many domains. However, state-of-the-art methods seldom consider the possibility that the observational data has missing values (incomplete data), which is ubiquitous in many real-world situations. The missing value will significantly impair the performance and even make the causal discovery algorithms fail. In this paper, we propose an approach to discover causal structures from incomplete data by using a novel encoder and reinforcement learning (RL). The encoder is designed for missing data imputation as well as feature extraction. In particular, it learns to encode the currently available information (with missing values) into a robust feature representation which is then used to determine where to search the best graph. The encoder is integrated into a RL framework that can be optimized using the actor-critic algorithm. Our method takes the incomplete observational data as input and generates a causal structure graph. Experimental results on synthetic and real data demonstrate that our method can robustly generate causal structures from incomplete data. Compared with the direct combination of data imputation and causal discovery methods, our method performs generally better and can even obtain a performance gain as much as 43.2%.

研究动机与目标

• 解决观测数据中存在缺失值时因果发现的挑战，因为缺失值通常会降低现有方法的性能。
• 开发一个统一框架，联合处理数据插补与因果结构学习，而非将两者视为独立阶段。
• 通过从非缺失值中学习鲁棒的特征表示，模仿人类在不完整数据上的推理方式。
• 在不完整数据上利用强化学习实现因果图发现的端到端优化。
• 提升在非线性和真实世界数据集存在缺失值时因果发现的鲁棒性与准确性。

提出的方法

• 设计了一个定制的神经网络编码器，通过聚焦于可用的非缺失值，从不完整观测数据中提取鲁棒的特征表示。
• 将编码器的输出作为强化学习智能体的输入，该智能体在连续空间中搜索最优DAG。
• 强化学习智能体使用演员-评论家算法，基于图评分函数生成的奖励来优化策略。
• 整个系统采用端到端训练，联合优化编码器与强化学习策略以实现因果结构发现。
• 将数据插补与特征提取整合到单一可微分框架中，避免了独立的插补步骤。
• 在强化学习框架内使用BIC和基于似然的评分函数对方法进行评估。

实验结果

研究问题

• RQ1 深度编码器能否有效从不完整观测数据中提取对因果发现有意义的表示？
• RQ2 在统一的强化学习框架中整合数据插补与因果结构学习，是否相比顺序进行插补与发现的方法性能更优？
• RQ3 当数据中缺失值比例高达20%时，所提方法在恢复真实因果结构方面的鲁棒性如何？
• RQ4 该方法能否在存在缺失值的非线性模型上超越最先进因果发现算法？
• RQ5 具有学习编码器的端到端强化学习框架是否能在存在缺失值的真实世界生物数据集中良好泛化？

主要发现

• 在含20%缺失值的非线性合成数据上，该方法的真正例率（TPR）比GAIN+NOTEARS高出31%，结构哈密顿距离（SHD）降低6个单位。
• 在含缺失值的非线性高斯过程模型上，该方法在TPR上相比GAIN+RL+BIC2实现了43.2%的性能提升，SHD降低19个单位。
• 在真实世界T细胞信号传导数据上，该方法优于GAIN+NOTEARS和GAIN+RL+BIC2，实现13的SHD和41.1%的TPR，而次优方法为18的SHD和11.8%的TPR。
• 真实数据中低假正例率（FDR）与高TPR表明，该方法能有效减少假阳性边，同时恢复真实边。
• 结果表明，编码与强化学习的端到端整合显著优于先独立插补再进行结构学习的方法。
• 该方法在含缺失值的合成数据集与真实世界数据集上均保持稳健性能，表明其具有强大的泛化能力。