[论文解读] Neural ODE control for classification, approximation and transport

Domènec Ruiz-Balet, Enrique Zuazua|arXiv (Cornell University)|Apr 12, 2021

Model Reduction and Neural Networks被引用 5

一句话总结

本文将神经ODE表述为一个联合控制问题，以实现数据分类与通用逼近，利用利普希茨连续激活函数的非线性动力学。通过构建分段常数控制以在相空间中诱导形变、分离与压缩，作者证明了控制范数有界且开关次数为 $ O(N) $ 的有限时间可控制性，为具有ReLU兼容动力学的深度学习建立了构造性、非线性控制理论基础。

ABSTRACT

We analyze Neural Ordinary Differential Equations (NODEs) from a control theoretical perspective to address some of the main properties and paradigms of Deep Learning (DL), in particular, data classification and universal approximation. These objectives are tackled and achieved from the perspective of the simultaneous control of systems of NODEs. For instance, in the context of classification, each item to be classified corresponds to a different initial datum for the control problem of the NODE, to be classified, all of them by the same common control, to the location (a subdomain of the euclidean space) associated to each label. Our proofs are genuinely nonlinear and constructive, allowing us to estimate the complexity of the control strategies we develop. The nonlinear nature of the activation functions governing the dynamics of NODEs under consideration plays a key role in our proofs, since it allows deforming half of the phase space while the other half remains invariant, a property that classical models in mechanics do not fulfill. This very property allows to build elementary controls inducing specific dynamics and transformations whose concatenation, along with properly chosen hyperplanes, allows achieving our goals in finitely many steps. The nonlinearity of the dynamics is assumed to be Lipschitz. Therefore, our results apply also in the particular case of the ReLU activation function. We also present the counterparts in the context of the control of neural transport equations, establishing a link between optimal transport and deep neural networks.

研究动机与目标

• 建立一个控制理论框架，以理解神经ODE在分类与通用逼近等深度学习特性方面的机理。
• 开发一种构造性、非线性控制策略，用于同时将多个数据点引导至相空间中不同的类别特异性区域。
• 证明具有利普希茨非线性的神经ODE（包括ReLU）在有限时间内具有可控制性，且无需 $ C^1 $ 正则性要求。
• 从时间范围、控制范数与开关次数等方面量化控制策略的复杂度。
• 通过神经传输方程的控制，将最优传输理论与深度神经网络联系起来。

提出的方法

• 将时变权重 $ W(t), A(t), b(t) $ 视为多个初始数据点的联合控制问题中的控制量。
• 通过控制的分段常数切换生成基本流动：分离、平移、压缩与收缩。
• 利用激活函数的非线性与利普希茨性质，对相空间的一半进行形变，同时保持另一半不变。
• 通过顺序应用平移与基于超平面的形变，构建流动以分离数据簇。
• 应用收缩流动将集合压缩至 $ O(\eta) $ 直径，实现对多个簇的递归控制。
• 通过精心选择时间范围与超平面配置，确保控制范数有界且开关次数为 $ O(N) $。

实验结果

研究问题

• RQ1 是否可以系统性地控制神经ODE，使用单一控制输入同时对多个数据点进行分类？
• RQ2 通过神经ODE实现数据分离与分类所需的最小控制复杂度（时间、范数、开关次数）是多少？
• RQ3 ReLU-based神经ODE的非线性、非光滑动力学如何实现通用逼近与分类？
• RQ4 神经ODE的控制能否与最优传输及Wasserstein几何建立联系？
• RQ5 激活函数的非线性在实现分类所必需的相空间形变中起到何种作用？

主要发现

• 控制 $ N $ 个数据点的最终时间范围满足 $ T \lesssim N\left(\frac{1}{\eta} + \frac{1}{\zeta} + \log\left(\frac{1}{\eta\zeta}\right)\right) $，其中 $ \eta $ 与 $ \zeta $ 分别控制分离与压缩的精度。
• 控制范数保持一致有界，且 $ \|b\|_{L^\infty} \lesssim_{\Omega} N $，表明其随数据集规模具有可扩展性。
• 控制输入 $ A(t), W(t), b(t) $ 的开关次数为 $ O(N) $，与数据簇数量一致。
• 该方法仅使用利普希茨连续非线性性（包括ReLU）即实现了有限时间分类与逼近，且无需 $ C^1 $ 光滑性要求。
• 该控制策略可将集合压缩至 $ O(\eta) $ 直径，最终配置满足 $ \mathrm{diam}_{(1)} \leq 4\eta $，在分离与平移后成立。
• 控制成本的主要瓶颈来自分离与分组阶段，而非收缩或平移阶段。