[论文解读] A polynomial-time algorithm for learning nonparametric causal graphs

Ming Gao, Yi Ding+1 more|arXiv (Cornell University)|Jun 22, 2020

Bayesian Modeling and Causal Inference参考文献 58被引用 4

一句话总结

该论文提出了一种多项式时间算法，用于在无需线性、可加性、独立噪声或忠实性假设的情况下学习非参数因果DAG。该方法采用模型无关的方法，结合非参数估计器，并提供明确的有限样本保证，时间复杂度为$O(nd^5)$，样本复杂度为$ Omega((d^2/\varepsilon)^{1+0pt/2})$，在稀疏性或光滑性假设下可实现更好的可扩展性。

ABSTRACT

We establish finite-sample guarantees for a polynomial-time algorithm for learning a nonlinear, nonparametric directed acyclic graphical (DAG) model from data. The analysis is model-free and does not assume linearity, additivity, independent noise, or faithfulness. Instead, we impose a condition on the residual variances that is closely related to previous work on linear models with equal variances. Compared to an optimal algorithm with oracle knowledge of the variable ordering, the additional cost of the algorithm is linear in the dimension $d$ and the number of samples $n$. Finally, we compare the proposed algorithm to existing approaches in a simulation study.

研究动机与目标

• 开发一种可证明高效且统计一致的算法，用于从数据中学习非线性、非参数DAG。
• 消除先前因果结构学习方法中常见的线性、可加性、独立噪声和忠实性等限制性假设。
• 为统计精度和计算效率提供明确的、非渐近的有限样本复杂度边界。
• 将基于残差方差的可识别性条件统一并推广至无模型设定。
• 证明贪心算法（如CAM）在可识别设定下可能无法恢复真实DAG，凸显对更鲁棒方法的需求。

提出的方法

• 将现有变量排序算法（如Ghoshal & Honorio, Chen et al.）扩展至非参数、无模型设定，使用插值非参数估计器（如核平滑、神经网络）。
• 引入与线性模型中等方差相关的残差方差条件，实现在无参数假设下的可识别性。
• 分析算法的时间与样本复杂度，基于所选非参数估计器，明确其依赖关系。
• 通过DAG的层分解来引导拓扑排序过程，提升计算可处理性。
• 使用广义可加模型（GAMs）作为实际实现用于实证评估。
• 引入预处理步骤（邻域选择）以提升运行效率，尤其在高维设定下。

实验结果

研究问题

• RQ1 能否构建一种非参数因果DAG学习算法，同时具备有限样本统计保证和多项式时间计算复杂度？
• RQ2 在无模型假设下，所提出的方法是否仍保持一致性和效率，而无需依赖线性、可加性或独立噪声？
• RQ3 在结构学习准确性和运行时间方面，该算法与最先进方法相比表现如何，特别是在具有中心节点的密集图上？
• RQ4 在非参数设定下，能否基于残差方差条件建立可识别性，其结果如何推广先前研究？
• RQ5 为何贪心算法（如CAM）在可识别设定下可能无法恢复正确DAG，是否可形式化描述这一现象？

主要发现

• 所提算法的时间复杂度为$O(nd^5)$，样本复杂度为$\Omega((d^2/\varepsilon)^{1+0pt/2})$，且在稀疏性或光滑性假设下，对$d$的指数依赖可被降低。
• 在模拟实验中，该方法在大多数最先进算法中表现更优，尤其在具有中心节点的密集图上，当使用广义可加模型实现时。
• 即使在满足可识别性条件的情况下，贪心算法（如CAM）也可能被证明无法恢复真实DAG，如示例5和图1(a)所示。
• 引入预处理步骤（邻域选择）后，CAM在$d=40$时的运行时间从超过8.5小时减少至90秒以内，凸显其计算影响。
• 在$d=40$时，NPVAR运行时间约为2分钟，而CAM无预处理时超过8.5小时，凸显高效预处理的重要性。
• 该算法在多种设定下均表现优异，SHD（结构汉明距离）随样本量增加而改善，并在$d=70$时仍保持低误差。