[论文解读] Learning nonlinear dynamical systems from a single trajectory

Dylan J. Foster, Alexander Rakhlin+1 more|arXiv (Cornell University)|Apr 30, 2020

Receptor Mechanisms and Signaling参考文献 42被引用 24

一句话总结

该论文提出了一种计算高效的算法，用于从单一轨迹中学习形式为 $x_{t+1} = \sigma(\Theta^\star x_t) + \varepsilon_t$ 的非线性动力系统，实现了最优样本复杂度和线性运行时间。它建立了全局稳定性条件，以验证状态协方差的良好条件性，并将广义线性模型学习推广至依赖数据，实现了在无需谱范数界和针对如 ReLU 等非严格递增链接函数情况下的 $\Theta^\star$ 恢复。

ABSTRACT

We introduce algorithms for learning nonlinear dynamical systems of the form $x_{t+1}=σ(Θ^{\star}x_t)+\varepsilon_t$, where $Θ^{\star}$ is a weight matrix, $σ$ is a nonlinear link function, and $\varepsilon_t$ is a mean-zero noise process. We give an algorithm that recovers the weight matrix $Θ^{\star}$ from a single trajectory with optimal sample complexity and linear running time. The algorithm succeeds under weaker statistical assumptions than in previous work, and in particular i) does not require a bound on the spectral norm of the weight matrix $Θ^{\star}$ (rather, it depends on a generalization of the spectral radius) and ii) enjoys guarantees for non-strictly-increasing link functions such as the ReLU. Our analysis has two key components: i) we give a general recipe whereby global stability for nonlinear dynamical systems can be used to certify that the state-vector covariance is well-conditioned, and ii) using these tools, we extend well-known algorithms for efficiently learning generalized linear models to the dependent setting.

研究动机与目标

• 开发一种高效算法，用于从单一观测轨迹中学习非线性动力系统。
• 在恢复权重矩阵 $\Theta^\star$ 时实现最优样本复杂度和线性运行时间。
• 放宽对 $\Theta^\star$ 的假设，消除对有界谱范数的需求，并实现对非严格递增链接函数（如 ReLU）的恢复。
• 建立一个通用框架，将非线性系统的全局稳定性与良好条件的状态协方差联系起来，以支持统计学习。

提出的方法

• 提出一种新颖算法，利用全局稳定性来验证状态向量协方差矩阵的良好条件性，从而实现高效学习。
• 引入一种通用方法，将系统稳定性（通过协方差核的谱半径和迹）与依赖数据设置下经验协方差的可逆性联系起来。
• 通过分析时间依赖下的偏置 Rademacher 复杂度，将已知的广义线性模型学习技术适配到时间序列依赖场景。
• 采用类似投影梯度下降的更新方式，并精心选择步长 $\eta_t$，以确保在参数范数下收敛至 $\Theta^\star$。
• 利用集中不等式和链式论证，对涉及 $\varepsilon_t x_t^\top$ 的经验过程进行界控，同时考虑轨迹中的依赖结构。
• 推导出 $\|\Theta^{(t)} - \Theta^\star\|_F^2$ 的递归不等式，并证明其指数衰减至统计误差项，从而实现有限时间收敛。

实验结果

研究问题

• RQ1 我们能否在最优样本复杂度和线性时间下，从单一轨迹中学习非线性动力系统的权重矩阵 $\Theta^\star$？
• RQ2 在何种条件下，我们可以避免对 $\Theta^\star$ 的谱范数施加有界性要求？
• RQ3 我们能否将高效学习算法扩展至具有非严格递增链接函数（如 ReLU）的非线性系统？
• RQ4 非线性系统的全局稳定性如何确保状态经验协方差的良好条件性，以支持学习？
• RQ5 该学习算法在参数范数下的有限样本收敛速率是多少？其随系统维度和噪声的缩放关系如何？

主要发现

• 在 $t \geq 8cB^2 e^{\frac{8\rho \mathsf{tr}(K)}{1-\rho}} \log\left(\frac{nW^4}{R^2 d^2 (\log(1/\delta) + \log(1 + 2n\sqrt{R}))}\right)$ 次迭代后，算法可实现 $\|\Theta^{(t)} - \Theta^\star\|_F^2 \leq 2c \cdot e^{\frac{8\rho \mathsf{tr}(K)}{1-\rho}} \cdot \frac{R^2 d^2 (\log(1/\delta) + \log(1 + 2n\sqrt{R}))}{nW^2}$。
• 收敛速率依赖于谱半径 $\rho$ 和协方差核 $K$ 的迹，后者在一般线性情况下推广了谱范数。
• 该方法在无需 $\|\Theta^\star\|_2$ 有界性的情况下仍能成功，转而依赖于涉及 $\rho$ 和 $\mathsf{tr}(K)$ 的广义稳定性条件。
• 该算法对非严格递增链接函数（如 ReLU）具有鲁棒性，而这类函数在深度学习中非常常见，这与以往工作不同。
• 样本复杂度达到最优，运行时间与步数 $n$ 呈线性关系，因此具有良好的可扩展性。
• 分析表明，全局稳定性意味着状态协方差具有良好条件性，这对依赖数据中的统计一致性至关重要。