[论文解读] A Review and Roadmap of Deep Learning Causal Discovery in Different Variable Paradigms

Hang Chen, Keqing Du+2 more|arXiv (Cornell University)|Sep 14, 2022

Advanced Graph Neural Networks被引用 8

一句话总结

本文提出了一种基于深度学习的因果发现统一框架，通过将任务划分为三种变量范式——确定性、半确定性和不确定性，定义了相应的数据集（MVD、BVD、IVD）和结构因果模型（DSCM、SSCM、USCM）。该文综述了现有方法，提出了三种构建USCM的路线图（基于先验、基于采样、基于最大图），并识别出采样偏差和混淆因子等关键挑战，为深度学习中的因果发现研究提供了全面的未来研究路线。

ABSTRACT

Understanding causality helps to structure interventions to achieve specific goals and enables predictions under interventions. With the growing importance of learning causal relationships, causal discovery tasks have transitioned from using traditional methods to infer potential causal structures from observational data to the field of pattern recognition involved in deep learning. The rapid accumulation of massive data promotes the emergence of causal search methods with brilliant scalability. Existing summaries of causal discovery methods mainly focus on traditional methods based on constraints, scores and FCMs, there is a lack of perfect sorting and elaboration for deep learning-based methods, also lacking some considers and exploration of causal discovery methods from the perspective of variable paradigms. Therefore, we divide the possible causal discovery tasks into three types according to the variable paradigm and give the definitions of the three tasks respectively, define and instantiate the relevant datasets for each task and the final causal model constructed at the same time, then reviews the main existing causal discovery methods for different tasks. Finally, we propose some roadmaps from different perspectives for the current research gaps in the field of causal discovery and point out future research directions.

研究动机与目标

• 为解决基于深度学习的因果发现方法在不同变量范式下的系统性分类与综合研究的缺失。
• 基于变量范式定义三种不同的因果发现任务：确定性（多变量）、半确定性（二值变量）和不确定性（无限变量）任务。
• 为每种范式引入并形式化相应的数据集（MVD、BVD、IVD）和结构因果模型（DSCM、SSCM、USCM）。
• 针对不确定性任务中数据稀疏性和变量模糊性等主要挑战，提出三种新颖的USCM构建路线图——基于先验、基于采样和基于最大图。
• 识别因果发现中的关键开放问题，如采样偏差、测量误差、混淆因子及非线性效应，并规划未来研究方向。

提出的方法

• 将因果发现划分为三种变量范式：确定性（多变量）、半确定性（二值变量）和不确定性（无限变量），每种范式具有不同的数据与模型定义。
• 为具有固定且已知变量集的任务定义多变量数据集（MVD）和确定性结构因果模型（DSCM）。
• 为涉及模式识别中部分区域或组件级因果关系的任务引入二值变量数据集（BVD）和半确定性结构因果模型（SSCM）。
• 为深度学习中动态、序列化或细粒度因果发现任务（变量集不固定）提出无限变量数据集（IVD）和不确定结构因果模型（USCM）。
• 提出三种USCM构建路线图：基于先验（利用领域知识）、基于采样（生成合成变量集）和基于最大图（在节点约束下学习全局图结构）。
• 在最大图方法中应用度量学习技术（如Circle Loss），通过自适应加权正负距离，提升嵌入稳定性并优化相似性得分。

实验结果

研究问题

• RQ1 如何在深度学习中基于变量范式系统性地对因果发现任务进行分类？
• RQ2 确定性、半确定性和不确定性因果发现任务的定义特征、数据集和结构因果模型分别是什么？
• RQ3 在不确定性任务中构建USCM的关键挑战是什么，特别是由于变量集模糊性和数据稀疏性带来的挑战？
• RQ4 如何设计有效的路线图（基于先验、基于采样、基于最大图）以实现在不确定性任务中的USCM构建？
• RQ5 在可靠因果结构搜索中，关键的开放问题（如采样偏差、混淆因子和测量误差）是什么，未来研究如何应对？

主要发现

• 本文基于变量范式建立了因果发现任务的正式分类体系，明确区分了确定性、半确定性和不确定性任务，并明确了其在数据与模型特性上的差异。
• 提出了三种新型数据集类型——MVD、BVD和IVD——以及相应的结构因果模型——DSCM、SSCM和USCM，为未来研究提供了标准化框架。
• 基于最大图的路线图通过学习具有节点映射约束的全局图结构，实现了USCM的构建，在变量模糊场景下显著提升了稳定性和可解释性。
• 在最大图方法中引入Circle Loss，通过动态加权未充分优化的相似性得分，提升了优化效率、收敛速度与梯度清晰度。
• 本文识别出采样偏差、测量误差和混淆因子等关键障碍，是实现可靠因果结构搜索的主要挑战，亟需进一步的方法论创新。
• 提供了全面的未来研究路线图，强调在深度学习中发展可扩展、稳健且可解释的因果发现方法的必要性，尤其针对序列和细粒度任务。