[论文解读] Exact Estimation of Multiple Directed Acyclic Graphs

Chris J. Oates, Jim Q. Smith+2 more|arXiv (Cornell University)|Apr 4, 2014

Bayesian Modeling and Causal Inference被引用 6

一句话总结

该论文提出了一种精确的整数线性规划（ILP）方法，用于在不假设各单元间共享变量顺序的前提下，联合估计多个有向无环图（DAGs）。该方法能够同时估计DAG结构及其相互依赖关系，通过分支定界法结合割平面技术实现全局最优解，并在模拟数据和fMRI数据上表现出高效性能，可在一分钟内完成最多10个节点的10个DAG的联合估计。

ABSTRACT

This paper considers the problem of estimating the structure of multiple related directed acyclic graph (DAG) models. Building on recent developments in exact estimation of DAGs using integer linear programming (ILP), we present an ILP approach for joint estimation over multiple DAGs, that does not require that the vertices in each DAG share a common ordering. Furthermore, we allow also for (potentially unknown) dependency structure between the DAGs. Results are presented on both simulated data and fMRI data obtained from multiple subjects.

研究动机与目标

• 开发一种精确且确定性的方法，用于联合估计多个相关的DAG，充分利用各单元间的结构相似性。
• 放松先前方法中要求所有DAG共享相同变量顺序的强假设。
• 不仅建模DAG内部变量之间的依赖关系，也建模DAG之间的相互依赖关系。
• 将基于精确ILP的结构学习方法扩展至多单元设置，在贝叶斯MAP估计下确保全局最优性。
• 在神经影像等应用中实现相关DAG的可扩展推断，其中多个受试者表现出共享但不完全相同的网络结构。

提出的方法

• 将多个DAG的联合MAP估计建模为整数线性规划（ILP），扩展了Cussens（2010）和Jaakola等人（2010）的ILP框架以适用于多张图。
• 采用分层贝叶斯模型在DAG之间共享信息，同时允许结构不完全相同，并能处理未知的相互依赖关系。
• 采用分支定界法结合割平面求解ILP，保证所估计DAG的全局最优性。
• 引入基于DAG性质（无环性）和变量顺序的结构约束，以提升计算效率。
• 支持灵活的局部评分建模，可适配复杂且数值估算的评分函数。
• 支持通过辅助DAG实现混合模型扩展，以及通过链式结构依赖图实现时序建模。

实验结果

研究问题

• RQ1 是否可以在不假设各单元间共享变量顺序的前提下，实现多个DAG的精确联合估计？
• RQ2 如何在估计DAG结构的同时，对DAG之间的依赖关系进行建模与估计？
• RQ3 对于中等规模的DAG（例如10个节点、10个单元），基于精确ILP的联合估计在计算上是否可行？
• RQ4 与对每个DAG独立估计相比，联合估计在结构恢复方面有何改进？
• RQ5 该方法是否可通过辅助模型扩展，以建模随时间演变或聚类的DAG结构？

主要发现

• 所提出的基于ILP的方法在无需共享变量顺序的前提下，实现了多个DAG的精确联合估计，从而能够更灵活地建模相关但不完全相同的结构。
• 该方法在标准笔记本电脑上可在一分钟内完成10个DAG（每个含10个节点）的联合估计，展示了实际的计算效率。
• 与独立估计相比，联合估计在模拟数据上的结构恢复准确率显著提升，尤其当真实DAG结构相似时效果更明显。
• 该方法在多例受试者的fMRI数据中成功识别出有意义的脑网络结构，揭示了共享与受试者特异的连接模式。
• 该方法对局部评分的不确定性具有鲁棒性，并可扩展用于建模更高阶结构，如时序动态和混合模型。
• 计算时间高度依赖于具体问题，受离散优化中典型的相变行为影响，但该方法在中等规模问题上仍保持可扩展性。