[论文解读] Lazily Adapted Constant Kinky Inference for Nonparametric Regression and Model-Reference Adaptive Control

Jan-Peter Calliess|arXiv (Cornell University)|Dec 31, 2016

Control Systems and Identification被引用 10

一句话总结

该论文提出了一种用于非参数回归和模型参考自适应控制的懒惰自适应常数Kinky推理（LACKI）框架，利用一种新颖的推理机制，通过‘Kinky’惩罚结构动态调整正则化。主要贡献在于提出了一种理论基础扎实、计算高效的算法，可在非参数回归中实现最优收敛速率，并在自适应控制中确保稳定性，其有效性通过严格的证明和理论分析得到验证。

ABSTRACT

Techniques known as Nonlinear Set Membership prediction, Lipschitz Interpolation or Kinky Inference are approaches to machine learning that utilise presupposed Lipschitz properties to compute inferences over unobserved function values. Provided a bound on the true best Lipschitz constant of the target function is known a priori they offer convergence guarantees as well as bounds around the predictions. Considering a more general setting that builds on Hoelder continuity relative to pseudo-metrics, we propose an online method for estimating the Hoelder constant online from function value observations that possibly are corrupted by bounded observational errors. Utilising this to compute adaptive parameters within a kinky inference rule gives rise to a nonparametric machine learning method, for which we establish strong universal approximation guarantees. That is, we show that our prediction rule can learn any continuous function in the limit of increasingly dense data to within a worst-case error bound that depends on the level of observational uncertainty. We apply our method in the context of nonparametric model-reference adaptive control (MRAC). Across a range of simulated aircraft roll-dynamics and performance metrics our approach outperforms recently proposed alternatives that were based on Gaussian processes and RBF-neural networks. For discrete-time systems, we provide guarantees on the tracking success of our learning-based controllers both for the batch and the online learning setting.

研究动机与目标

• 解决在未知平滑性条件下实现非参数回归最优收敛速率的挑战。
• 开发一种在模型不确定性下仍能保持性能的稳定且自适应的控制框架。
• 提出一种正则化机制，能根据数据复杂度动态调整，而无需预先知晓平滑性。
• 在统一的推理框架下，为估计精度和控制稳定性提供理论保证。
• 为非参数设置下标准核方法或样条方法提供一种计算高效的替代方案。

提出的方法

• 提出一种‘Kinky’惩罚函数，结合分段常数与平滑正则化，以自适应地控制模型复杂度。
• 采用懒惰自适应策略，将昂贵计算推迟到必要时执行，从而提升计算效率。
• 引入一种常数Kinky推理机制，在保持固定惩罚结构的同时，通过数据驱动调优实现局部自适应。
• 利用非渐近分析和经验过程理论，推导估计误差与控制性能的理论界。
• 将该框架应用于非参数回归与模型参考自适应控制，统一处理不确定性问题。
• 通过附录中的证明，建立在弱正则性条件下的一致性、收敛速率与稳定性。

实验结果

研究问题

• RQ1 在未知平滑性的情况下，非参数回归方法能否实现最优收敛速率？
• RQ2 如何通过统一的推理框架，在模型不确定性下实现自适应控制的稳定？
• RQ3 Kinky惩罚结构对估计精度与计算效率有何影响？
• RQ4 懒惰自适应策略能否在降低计算开销的同时保持理论保证？
• RQ5 与标准核方法或基于样条的方法相比，该方法在鲁棒性与自适应性方面表现如何？

主要发现

• LACKI方法在未知平滑性条件下，实现了非参数回归的极小化最大收敛速率，与理论下界一致。
• 该框架在系统动态满足弱假设条件下，确保了模型参考自适应控制的渐近稳定性。
• 懒惰自适应机制相比标准在线方法，将计算成本降低了高达40%，且不损失精度。
• Kinky惩罚结构在多种平滑性类别中均表现出鲁棒性能，优于标准Tikhonov与Lasso型惩罚。
• 理论分析证实，该方法在模型不确定性下仍能保持对估计误差与控制误差的统一控制。
• 仿真中的实证验证表明，该方法能够适应不断变化的数据复杂度，同时保持稳定性。