[论文解读] Higher-order algorithms and implicit regularization for nonlinearly parameterized adaptive control

Nicholas M. Boffi, Jean-Jacques Slotine|arXiv (Cornell University)|Dec 31, 2019

Piezoelectric Actuators and Control被引用 7

一句话总结

本文提出了一种基于Bregman拉格朗日量的变分框架，用于推导非线性参数化系统的高阶、全局收敛自适应控制算法。通过使用凸势函数引入非欧几里得几何，该方法隐式正则化模型参数，从而实现稀疏性和泛化性能的提升，已在引入动量增强适应性的神经网络权重学习中得到验证。

ABSTRACT

Stable concurrent learning and control of dynamical systems is the subject of adaptive control. Adaptive control is a field with many practical applications and a rich theory, but much of the development for nonlinear systems revolves around a few key algorithms. By exploiting strong connections between nonlinear adaptive control techniques and recent progress in optimization and machine learning, we show that there exists considerable untapped potential in algorithm development for nonlinear adaptive control. We present a large set of new globally convergent adaptive control algorithms that are applicable both to linearly parameterized systems and to nonlinearly parameterized systems satisfying certain monotonicity or convexity requirements. We adopt a variational formalism based on the Bregman Lagrangian to define a general framework that systematically generates higher-order in-time velocity gradient algorithms. We generalize our algorithms to the non-Euclidean setting and show that the Euler Lagrange equations for the Bregman Lagrangian lead to natural gradient and mirror descent-like adaptation laws with momentum that incorporate local geometry through a Hessian metric specified by a convex function. We prove that these non-Euclidean adaptation laws implicitly regularize the system model by minimizing the convex function that specifies the metric throughout adaptation. Local geometry imposed during adaptation thus may be used to select parameter vectors - out of the many that will lead to perfect tracking - for desired properties such as sparsity. We illustrate our analysis with simulations using a higher-order algorithm for nonlinearly parameterized systems to learn regularized hidden layer weights in a three-layer feedforward neural network.

研究动机与目标

• 为解决非线性自适应控制中算法多样性有限的问题，特别是针对非线性参数化系统。
• 通过利用变分方法和Bregman散度的最新进展，弥合自适应控制、优化与机器学习之间的差距。
• 开发基于Hessian度量通过局部几何嵌入的、全局收敛的、时间高阶速度梯度算法。
• 通过选择能塑造参数空间几何的凸函数，实现在适应过程中的隐式正则化。
• 在深度神经网络中学习正则化权重方面展示这些算法的实用性。

提出的方法

• 通过Bregman拉格朗日量将自适应控制形式化为变分问题，利用欧拉-拉格朗日方程生成时间高阶算法。
• 通过使用凸函数定义基于Hessian的度量，将该框架推广至非欧几里得空间，从而实现自然梯度和镜像下降类的动力学。
• 通过求解Bregman拉格朗日量的欧拉-拉格朗日方程，推导出带有动量的自适应律，将局部几何嵌入学习过程。
• 通过最小化用于定义度量的凸势函数，引入隐式正则化，从而塑造参数更新轨迹。
• 将该框架应用于三层前馈神经网络，以稀疏性促进正则化的形式学习隐藏层权重。
• 在非线性参数化具有单调性或凸性条件时，确保全局收敛。

实验结果

研究问题

• RQ1 能否通过变分形式，系统地推导出用于非线性参数化自适应控制的时间高阶速度梯度算法？
• RQ2 如何利用凸势函数定义的非欧几里得几何来塑造适应动力学并诱导隐式正则化？
• RQ3 由凸函数导出的Hessian度量在引导参数收敛至稀疏性等期望特性方面发挥什么作用？
• RQ4 在非线性参数化满足单调性或凸性约束时，所提出的框架能否实现全局收敛？
• RQ5 在自适应律中引入动量如何影响神经网络训练中的收敛性与正则化？

主要发现

• Bregman拉格朗日量框架可系统地生成适用于线性和非线性参数化系统的高阶、全局收敛自适应控制算法。
• Bregman拉格朗日量的欧拉-拉格朗日方程导出的自适应律在非欧几里得空间中等价于自然梯度或镜像下降方法。
• 通过最小化定义度量的凸函数，隐式正则化在适应过程中自然发生，倾向于选择具有期望结构特性（如稀疏性）的参数向量。
• 该框架可通过凸势函数施加的几何约束，从实现完美跟踪的所有参数向量中选择最优者。
• 仿真结果表明，使用所提出的高阶算法可成功学习三层前馈神经网络中的正则化隐藏层权重。
• 该方法在温和假设下确保全局收敛，包括非线性参数化的单调性或凸性。