[论文解读] Learning Networks of Stochastic Differential Equations

José Bento, Morteza Ibrahimi+1 more|arXiv (Cornell University)|Nov 1, 2010

Gene Regulatory Network Analysis参考文献 10被引用 43

一句话总结

该论文提出了一种 $ι_1$-正则化最小二乘法，用于从连续时间轨迹中学习线性随机微分方程的网络结构。只要采样足够频繁，该方法在支持恢复方面建立了与采样率无关的统一性能保证，展示了在高维稀疏系统中网络推断的明确定义的时间复杂度。

ABSTRACT

We consider linear models for stochastic dynamics. To any such model can be associated a network (namely a directed graph) describing which degrees of freedom interact under the dynamics. We tackle the problem of learning such a network from observation of the system trajectory over a time interval $T$. We analyze the $\ell_1$-regularized least squares algorithm and, in the setting in which the underlying network is sparse, we prove performance guarantees that are \emph{uniform in the sampling rate} as long as this is sufficiently high. This result substantiates the notion of a well defined `time complexity' for the network inference problem.

研究动机与目标

• 解决从单条连续时间轨迹中学习线性随机微分方程（SDE）的相互作用网络（稀疏模式）的挑战。
• 为由 SDE 控制的高维稀疏系统中的结构学习开发一种计算高效的算法。
• 在采样足够密集的前提下，建立与采样率无关的网络恢复理论性能保证。
• 解决连续时间数据中采样频率与信息量之间的矛盾，表明高频采样不会降低学习性能。

提出的方法

• 该方法使用 $ι_1$-正则化最小二乘法，从观测轨迹 $\{x(t)\}_{t \in [0,T]}$ 中独立估计系数矩阵 $A^0$ 的每一行。
• 损失函数定义为 $\mathcal{L}(A_r; \{x(t)\}) = \frac{1}{2T}\int_0^T (A_r^*x(t))^2 dt - \frac{1}{T}\int_0^T (A_r^*x(t)) dx_r(t)$，对应于连续时间最小二乘公式。
• 正则化项 $\lambda \|A_r\|_1$ 促进稀疏性，并支持真实网络结构的恢复。
• 该方法依赖于损失函数梯度 $\widehat{G}$ 和海森矩阵 $\widehat{Q}$ 的集中不等式，以限制估计误差。
• 使用耦合论证表明，连续时间过程的离散时间近似在采样率提高时以几乎必然的方式收敛到真实的连续时间统计量。
• 通过海森矩阵的最大特征值的界以及噪声过程的次高斯行为，推导出理论保证。

实验结果

研究问题

• RQ1 能否从单条连续时间轨迹中可靠地恢复线性 SDE 的网络结构，即使采样非常密集？
• RQ2 网络推断的性能是否依赖于采样率，还是可以在足够高的采样频率下保持一致？
• RQ3 $ι_1$-正则化最小二乘法能否在具有稀疏相互作用结构的高维 SDE 中实现一致的支持恢复？
• RQ4 在连续时间随机系统中，网络推断是否存在与采样率无关的明确定义的时间复杂度？

主要发现

• 只要采样间隔 $\eta$ 足够小，该方法在所有采样率下均能实现统一的支持恢复性能，且保证不会随 $\eta \to 0$ 而恶化。
• 正确支持恢复的概率有下界 $1 - \delta$，其中 $\delta$ 在 $\lambda$ 和 $\eta$ 满足适当条件时随样本数 $n = T/\eta$ 指数衰减。
• 理论界表明，估计误差 $|\!|\!|\widehat{Q}_{JS} - Q^{0}_{JS}|\!|\!|_{\infty}$ 以高概率受 $\epsilon$ 控制，且衰减速率如 $e^{-c n \epsilon^2}$（$c > 0$ 为常数），前提是 $\sigma_{\max}(I + \eta A^0) < 1$。
• 当 $\lambda \leq A_{\min} C_{\min} / (8k)$ 时，该方法可确保估计的支持以高概率匹配真实支持，其中 $k$ 为稀疏度水平。
• 随着 $n \to \infty$，离散时间统计量 $\widehat{G}^n, \widehat{Q}^n$ 几乎必然收敛到其连续时间对应量 $\widehat{G}, \widehat{Q}$，从而可将离散时间结果推广至连续时间。
• 本文证明了连续时间梯度和海森矩阵估计器满足集中界，从而可对估计误差实现统一控制，实现稳健的结构学习。