[论文解读] A High-order Tuner for Accelerated Learning and Control

Spencer McDonald, Yingnan Cui+2 more|arXiv (Cornell University)|Mar 23, 2021

Sparse and Compressive Sensing Techniques参考文献 43被引用 5

一句话总结

本文提出了一种高阶调节器（HT），用于在具有时变回归器的线性参数化系统中实现加速学习与控制，通过利用二阶（Hessian）信息以提升收敛速度。在梯度存在噪声的情况下，该方法建立了随机稳定性，并实现指数收敛至紧集，其边界依赖于噪声统计特性，将先前的确定性保证推广至存在噪声的实时场景。

ABSTRACT

Gradient-descent based iterative algorithms pervade a variety of problems in estimation, prediction, learning, control, and optimization. Recently iterative algorithms based on higher-order information have been explored in an attempt to lead to accelerated learning. In this paper, we explore a specific a high-order tuner that has been shown to result in stability with time-varying regressors in linearly parametrized systems, and accelerated convergence with constant regressors. We show that this tuner continues to provide bounded parameter estimates even if the gradients are corrupted by noise. Additionally, we also show that the parameter estimates converge exponentially to a compact set whose size is dependent on noise statistics. As the HT algorithms can be applied to a wide range of problems in estimation, filtering, control, and machine learning, the result obtained in this paper represents an important extension to the topic of real-time and fast decision making.

研究动机与目标

• 将高阶调节器（HT）的稳定性保证扩展至具有噪声梯度估计的实时学习与控制场景。
• 分析在随机扰动下HT的收敛行为，特别是当梯度受噪声污染时的表现。
• 在存在噪声的情况下，建立参数估计的有界性以及对紧集的指数收敛性。
• 将先前的确定性稳定性结果推广至具有时变回归器的随机非马尔可夫系统。
• 为HT在涉及不确定性下实时决策的实际应用中提供理论基础。

提出的方法

• HT算法利用梯度与Hessian信息更新参数，实现比一阶方法更快的收敛速度。
• 构建了一个随机李雅普诺夫函数，以分析在噪声梯度下参数估计误差的期望演化。
• 分析中运用了随机系统理论的工具，包括Doob的鞅收敛定理以及针对非马尔可夫过程的LaSalle型论证。
• 推导出条件期望的界，以表明当参数估计位于紧集之外时，李雅普诺夫函数的期望值会下降。
• 该方法利用了近期在随机李雅普诺夫分析方面的进展，以处理非马尔可夫动态与时变回归器。
• 基于噪声统计与系统参数，推导出收敛紧集大小的理论界。

实验结果

研究问题

• RQ1 当梯度受噪声污染时，高阶调节器能否保持参数估计的有界性？
• RQ2 在随机扰动下，HT是否能实现对紧集的指数收敛？
• RQ3 收敛集的大小如何依赖于噪声统计特性与系统参数？
• RQ4 HT的稳定性与收敛性保证能否扩展至非马尔可夫、时变系统？
• RQ5 Hessian信息在噪声环境下如何提升收敛速度与鲁棒性？

主要发现

• 在时变回归器下，即使梯度受噪声污染，高阶调节器仍能确保参数估计的有界性。
• 参数估计会指数收敛至一个紧集，其大小与噪声方差及系统参数成正比。
• 紧集的大小可显式地以噪声统计、初始参数误差与系统动态为参数进行界定。
• 当估计值位于紧集之外时，李雅普诺夫函数的条件期望会下降，从而确保随机稳定性。
• 与一阶方法相比，收敛速度得到加速，Hessian信息有助于实现更快的误差衰减。
• 理论框架可推广至非马尔可夫系统，拓宽了其在先前随机李雅普诺夫结果之外的应用范围。