[论文解读] DYNOTEARS: Structure Learning from Time-Series Data

Roxana Pamfil, Nisara Sriwattanaworachai+5 more|arXiv (Cornell University)|Feb 2, 2020

Bayesian Modeling and Causal Inference参考文献 54被引用 4

一句话总结

DYNOTEARS 提出了一种基于评分的方法，用于学习动态贝叶斯网络（DBNs），该方法联合估计时间序列数据中的同期关系（切片内）和时滞关系（切片间）。通过利用无环性的平滑代数表征，它将结构学习表述为可通过标准二阶优化求解的约束优化问题，在模拟和来自金融与分子生物学的真实世界数据集的高维设置下实现了最先进性能。

ABSTRACT

We revisit the structure learning problem for dynamic Bayesian networks and propose a method that simultaneously estimates contemporaneous (intra-slice) and time-lagged (inter-slice) relationships between variables in a time-series. Our approach is score-based, and revolves around minimizing a penalized loss subject to an acyclicity constraint. To solve this problem, we leverage a recent algebraic result characterizing the acyclicity constraint as a smooth equality constraint. The resulting algorithm, which we call DYNOTEARS, outperforms other methods on simulated data, especially in high-dimensions as the number of variables increases. We also apply this algorithm on real datasets from two different domains, finance and molecular biology, and analyze the resulting output. Compared to state-of-the-art methods for learning dynamic Bayesian networks, our method is both scalable and accurate on real data. The simple formulation and competitive performance of our method make it suitable for a variety of problems where one seeks to learn connections between variables across time.

研究动机与目标

• 解决学习动态贝叶斯网络（DBNs）的挑战，以捕捉时间序列数据中既有的（切片内）和延迟的（切片间）依赖关系。
• 开发一种在高维设置下（变量数超过观测数，即 d > n）可扩展且准确的 DBN 结构学习方法。
• 克服现有两步法或独立估计方法的局限性，这些方法无法联合建模切片内与切片间的关系。
• 提供一种即插即用的、基于优化的框架，对复杂图拓扑具有鲁棒性，且不假设有界入度或树宽。
• 在金融和系统生物学的真实世界数据集上验证该方法，展示其实际应用价值，并与最先进方法相比表现出竞争力。

提出的方法

• 将 DBN 结构学习表述为带有无环性约束的惩罚评分优化问题，使用 Zheng 等人（2018）提出的平滑等式约束，以代数方式表征无环性。
• 采用标准的二阶优化算法（如 L-BFGS）求解约束优化问题，实现高效且可扩展的学习。
• 将权重矩阵分离为两部分：W 用于同期（切片内）依赖关系，A 用于时滞（切片间）依赖关系，两者联合估计。
• 通过逐元素相加的方式组合 W 和 A 矩阵，生成最终的加权邻接矩阵，表示完整的动态依赖结构。
• 在每个数据集上使用交叉验证调优超参数，确保在真实世界数据上的最优性能。
• 使用可微分的评分函数并结合 L1 正则化，以在高维设置下促进稀疏性并提升泛化能力。

实验结果

研究问题

• RQ1 统一的、基于评分的优化框架是否能比现有的两步法或独立估计方法更有效地联合学习动态贝叶斯网络中的同期与时滞依赖关系？
• RQ2 在高维设置下（d > n），该方法的性能如何，特别是在传统方法因维度灾难而失效的情况下？
• RQ3 与离散或组合式表述相比，使用平滑代数无环性约束在优化稳定性与可扩展性方面有多大提升？
• RQ4 在金融与分子生物学的真实世界时间序列数据上，DYNOTEARS 与最先进方法相比，在准确性和鲁棒性方面表现如何？
• RQ5 该方法是否能可靠地恢复基准数据集（如 DREAM4 和股票收益率数据）中的已知生物与金融依赖关系？

主要发现

• 在 DREAM4 基因调控网络数据集上，DYNOTEARS 的平均 AUROC 为 0.664，AUPR 为 0.173，分别在 18 种测试方法中排名 8 位和第 4 位。
• 在 DREAM4 数据集上，DYNOTEARS 在 AUPR 上优于大多数基线方法，包括 G1DBN、ScanBMA 和 VBSSM，表明其在识别真实调控互作方面表现强劲。
• 在金融数据集（d=97）中，DYNOTEARS 展现出鲁棒性与可扩展性，成功学习了切片间与切片内的依赖关系，且无需假设图复杂度有界。
• 该方法在模拟与真实世界数据上均表现出具有竞争力的性能，尤其在 d > n 的高维情形下表现卓越。
• 使用平滑无环性约束使优化过程更稳定，收敛性更优，相比离散或松弛化替代方法具有优势。
• 对切片内与切片间关系的联合估计，相比分别处理的方法，产生了更准确且更具可解释性的网络结构。