[论文解读] Deep Learning via Dynamical Systems: An Approximation Perspective

Qianxiao Li, Ting Lin+1 more|arXiv (Cornell University)|Dec 22, 2019

Model Reduction and Neural Networks被引用 12

一句话总结

本文通过将连续时间深度残差网络建模为动力系统，建立了其通用逼近定理，表明在较弱条件下，此类系统的流映射可逼近 $L^p$ 中任意可测函数。论文提供了逼近的充分条件，并推导了依赖于时间范围的收敛速率，为通过动力系统理解深度学习提供了新的理论框架。

ABSTRACT

We build on the dynamical systems approach to deep learning, where deep residual networks are idealized as continuous-time dynamical systems, from the approximation perspective. In particular, we establish general sufficient conditions for universal approximation using continuous-time deep residual networks, which can also be understood as approximation theories in $L^p$ using flow maps of dynamical systems. In specific cases, rates of approximation in terms of the time horizon are also established. Overall, these results reveal that composition function approximation through flow maps present a new paradigm in approximation theory and contributes to building a useful mathematical framework to investigate deep learning.

研究动机与目标

• 通过将连续时间残差网络分析为动力系统，为深度学习建立理论基础。
• 确立动力系统流映射在 $L^p$ 空间中通用逼近函数的充分条件。
• 推导此类系统在时间范围方面的定量逼近速率。
• 通过连续时间模型，将深度学习的函数复合机制与逼近理论相连接。

提出的方法

• 通过常微分方程将深度残差网络建模为连续时间动力系统。
• 将假设空间定义为由给定函数族 $\mathcal{F}$ 中向量场生成的流映射集合。
• 利用可控性与稠密性论证，通过流映射的复合构造目标函数的逼近。
• 应用控制理论与微分方程的结果，证明逼近性质。
• 通过构造在有限输入-输出对之间插值的流映射，建立通用逼近。
• 通过分析 $L^p$ 范数下误差界对时间范围的依赖性，推导逼近速率。

实验结果

研究问题

• RQ1 在何种条件下，连续时间动力系统流映射可通用逼近 $L^p$ 中任意可测函数？
• RQ2 动力系统的时域范围如何影响 $L^p$ 中的逼近误差？
• RQ3 给定向量场族的流映射复合能否以任意精度逼近任意函数？
• RQ4 向量场族 $\mathcal{F}$ 的结构在决定其生成流映射的逼近能力方面起什么作用？
• RQ5 系统的可控性如何与网络的逼近能力相联系？

主要发现

• 若向量场族 $\mathcal{F}$ 满足较弱条件（包括稠密性与复合下的封闭性），则连续时间残差网络在 $L^p$ 中可实现通用逼近。
• 论文证明，只要 $\mathcal{F}$ 足够丰富，$L^p$ 中任意可测函数均可被 $\mathcal{F}$ 中向量场所控制的动力系统的流映射以任意精度逼近。
• 在适当的正则性假设下，逼近速率以时间范围 $T$ 表示，误差衰减为 $O(1/T)$。
• 该构造依赖于一系列可对有限输入-输出对集实现任意精度插值的流映射。
• 结果表明，通过流映射的复合为逼近理论提供了新的范式，尤其适用于深度学习模型。
• 该框架为深度学习、动力系统与逼近理论之间建立了严谨的数学基础，通过 $L^p$ 收敛实现连接。