[论文解读] Control On the Manifolds Of Mappings As a Setting For Deep Learning.

Andrei Agrachev, Andrey Sarychev|arXiv (Cornell University)|Aug 28, 2020

Advanced Data Processing Techniques被引用 4

一句话总结

本文将深度学习训练建模为映射流形上的最优控制问题，将深度神经网络视为具有无限多层的连续时间控制系统。它在ℝⁿ、𝕋ⁿ和𝕊²的微分同胚群上建立了此类系统的近似可控性，证明了其在高精度逼近复杂分类映射方面的潜力。

ABSTRACT

We use a control-theoretic setting to model the process of training (deep learning) of Artificial Neural Networks (ANN), which are aimed at solving classification problems. A successful classifier is the network whose input-output map approximates well the classifying map defined on a finite or an infinite training set. A fruitful idea is substitution of a multi-layer ANN by a continuous-time control system, which can be seen as a neural network with infinite number of layers. Under certain conditions it can achieve high rate of approximation with presumably not so high computational cost. The problem of best approximation for this model results in optimal control problem of Bolza type for ensembles of points. The two issues to be studied are: i) possibility of a satisfactory approximation of complex classification profiles; ii) finding the values of parameters (controls) which provide the best approximation. In control-theoretic terminology it corresponds respectively to the verification of an ensemble controllability property and to the solution of an ensemble optimal control problem. In the present contribution we concentrate on the first type of problems; our main results include examples of control systems, which are approximately controllable in the groups of diffeomorphisms of $\mathbb{R}^n, \mathbb{T}^n, \mathbb{S}^2$.

研究动机与目标

• 将深度神经网络训练建模为具有无限多层的连续时间控制系统。
• 研究此类控制系统是否能以高精度逼近复杂的分类特征。
• 验证ℝⁿ、𝕋ⁿ和𝕊²上映射的集合可控性特性。
• 为通过控制理论近似实现高效深度学习奠定理论基础。

提出的方法

• 将多层神经网络建模为微分同胚流形上的连续时间控制系统。
• 将训练过程表述为点集的Bolza型最优控制问题。
• 使用控制理论工具分析系统在ℝⁿ、𝕋ⁿ和𝕊²上的可控性。
• 应用微分几何和控制理论的结果来研究近似能力。
• 将集合可控性特性作为有效近似的必要条件进行聚焦分析。
• 分析能够实现高精度输入-输出关系映射的控制系统结构。

实验结果

研究问题

• RQ1 在微分同胚流形上的连续时间控制系统能否实现对复杂分类映射的高精度近似？
• RQ2 在ℝⁿ、𝕋ⁿ和𝕊²上，何种条件可确保此类控制系统的近似可控性？
• RQ3 控制理论的表述如何实现高效近似，且计算成本可能低于离散深度网络？
• RQ4 在这些流形上，何种类型的控制系统对分类任务表现出有利的近似特性？
• RQ5 集合可控性是否为此框架中有效学习的充分条件？

主要发现

• 本文证明了某些控制系统在ℝⁿ的微分同胚群上具有近似可控性。
• 它在n维环面𝕋ⁿ的系统上建立了近似可控性。
• 它证明了在2-球面𝕊²的系统上具有近似可控性。
• 结果表明，这些流形上的连续时间控制系统能够有效近似复杂的分类特征。
• 该框架为通过无限层建模实现潜在更低计算成本的深度学习提供了理论基础。
• 分析确认，集合可控性特性在特定几何设置下可实现，支持了所提方法的可行性。