[论文解读] Beyond Predictions in Neural ODEs: Identification and Interventions

Aliee, Hananeh, Fabian J. Theis+1 more|arXiv (Cornell University)|Jun 23, 2021

Model Reduction and Neural Networks参考文献 50被引用 5

一句话总结

该论文提出C-NODE方法，通过引入稀疏性正则化，增强神经ODE以识别来自常微分方程（ODE）的时间序列数据中的因果动态和结构依赖关系。通过强制实现稀疏的因果关系，C-NODE能够恢复底层ODE，并在非线性、循环及高维系统中实现干预下的精确预测，包括真实单细胞RNA-seq数据。

ABSTRACT

Spurred by tremendous success in pattern matching and prediction tasks, researchers increasingly resort to machine learning to aid original scientific discovery. Given large amounts of observational data about a system, can we uncover the rules that govern its evolution? Solving this task holds the great promise of fully understanding the causal interactions and being able to make reliable predictions about the system's behavior under interventions. We take a step towards answering this question for time-series data generated from systems of ordinary differential equations (ODEs). While the governing ODEs might not be identifiable from data alone, we show that combining simple regularization schemes with flexible neural ODEs can robustly recover the dynamics and causal structures from time-series data. Our results on a variety of (non)-linear first and second order systems as well as real data validate our method. We conclude by showing that we can also make accurate predictions under interventions on variables or the system itself.

研究动机与目标

• 为解决从观测时间序列数据中识别真实底层ODE动态的挑战，该挑战在缺乏结构约束时是病态的。
• 通过神经ODE改进非线性、循环及高维动力系统中因果结构的可识别性。
• 通过学习真实控制动态，实现对变量或系统参数干预下的可靠预测。
• 在具有噪声和不规则采样特性的合成ODE和真实世界单细胞基因表达数据上验证该方法。
• 证明稀疏性正则化有助于从观测数据中恢复具有生物意义的调控网络。

提出的方法

• 为神经ODE引入一种促进稀疏性的正则化方案，以限制因果交互的数量，从而促进可解释且可识别的动力学。
• 将正则化应用于神经ODE的导数网络，促使仅少数相关变量影响每个状态变量的导数。
• 采用可微分架构，通过基于梯度的优化联合学习ODE函数并推断因果结构。
• 采用因果发现流程，从学习到的导数函数中提取因果父节点，包括循环依赖关系。
• 在具有不同噪声和采样条件的合成一阶和二阶ODE上验证该方法。
• 将C-NODE应用于人类和小鼠造血系统的真实单细胞RNA-seq数据，识别关键转录因子和调控基因。

实验结果

研究问题

• RQ1 神经ODE中的稀疏性正则化是否能改善从观测时间序列数据中识别真实底层ODE动态的能力？
• RQ2 C-NODE能否在非线性和高维动力系统中准确推断因果结构，包括循环依赖关系？
• RQ3 当真实动态未知时，C-NODE是否仍能保持对变量或系统参数干预下的预测准确性？
• RQ4 C-NODE在从具有噪声和不规则采样特性的单细胞RNA-seq数据中恢复具有生物相关性的基因调控网络方面效果如何？
• RQ5 稀疏性正则化在多大程度上防止模型依赖高维数据中的虚假特征？

主要发现

• C-NODE在存在加性噪声和不规则采样条件下，成功恢复了合成一阶和二阶非线性系统的真正ODE动态和因果结构。
• 该方法在对变量和系统参数的未见干预下均实现了准确预测，展现出超越单纯预测能力的鲁棒性。
• 在含529个基因的人类造血数据中，C-NODE识别出141个关键调控基因，其中22个为已知在红系分化中起关键作用的转录因子。
• 基因集富集分析证实，C-NODE捕捉到了造血干细胞和红细胞分化等具有生物相关性的过程。
• 该模型避免使用虚假特征，因为这141个重要基因仅在红系谱系中表现出高度可变性，而非在所有细胞类型中均如此。
• C-NODE在物种间具有泛化能力，成功在人类和小鼠单细胞RNA-seq数据中识别出GATA基因对血红蛋白基因的调控作用。