[论文解读] Meta-Adaptive Nonlinear Control: Theory and Algorithms

Guanya Shi, Kamyar Azizzadenesheli+3 more|arXiv (Cornell University)|Jun 11, 2021

Advanced Bandit Algorithms Research参考文献 64被引用 19

一句话总结

该论文提出了一种新型框架——在线元自适应控制（OMAC），通过将在线表征学习与自适应控制理论统一，实现了在对抗性扰动和未知环境依赖动力学下的非线性系统快速、稳定的自适应。该工作首次为多任务非线性控制提供了非渐近的端到端收敛保证，且在不同风速条件下的摆杆与无人机控制任务中，其性能显著优于传统自适应控制方法。

ABSTRACT

We present an online multi-task learning approach for adaptive nonlinear control, which we call Online Meta-Adaptive Control (OMAC). The goal is to control a nonlinear system subject to adversarial disturbance and unknown $ extit{environment-dependent}$ nonlinear dynamics, under the assumption that the environment-dependent dynamics can be well captured with some shared representation. Our approach is motivated by robot control, where a robotic system encounters a sequence of new environmental conditions that it must quickly adapt to. A key emphasis is to integrate online representation learning with established methods from control theory, in order to arrive at a unified framework that yields both control-theoretic and learning-theoretic guarantees. We provide instantiations of our approach under varying conditions, leading to the first non-asymptotic end-to-end convergence guarantee for multi-task nonlinear control. OMAC can also be integrated with deep representation learning. Experiments show that OMAC significantly outperforms conventional adaptive control approaches which do not learn the shared representation, in inverted pendulum and 6-DoF drone control tasks under varying wind conditions.

研究动机与目标

• 解决自主机器人在新环境条件下（如变化的风速或地形）快速适应的挑战。
• 通过将在线表征学习与控制理论的稳定性保证相结合，弥合表征学习与控制理论之间的鸿沟。
• 为在未知、环境依赖的动力学条件下进行多任务非线性控制，提供端到端的理论收敛保证——特别是子线性累积控制误差。
• 通过在多个任务间学习环境依赖动力学的共享表征，实现新任务中的更快适应。
• 将OMAC与深度表征学习相结合，在保持理论保证的同时提升实际性能。

提出的方法

• 提出一种分层优化框架，配备元适配器，用于在任务间学习环境依赖动力学的共享表征。
• 使用内层适配器基于共享表征执行特定于环境的控制更新，实现在每个环境中的快速适应。
• 将控制问题形式化为时间步（内层迭代）和环境（外层迭代）上的在线优化问题序列。
• 在凸性假设（联合凸性和逐元素凸性）下，利用在线凸优化工具推导理论收敛边界。
• 在OMAC中集成深度神经网络作为表征学习器，实现端到端可微学习并保持控制保证。
• 设计一种交互协议：在每个外层迭代开始时，环境以对抗方式选择条件，控制器则基于观测到的状态和控制反馈在线适应。

实验结果

研究问题

• RQ1 能否开发一种统一框架，将在线表征学习与非线性系统的控制理论稳定性保证相结合？
• RQ2 在多任务设置中，学习环境依赖动力学的共享表征是否能带来更快的适应速度和更优的控制性能？
• RQ3 能否为多任务非线性自适应控制建立非渐近收敛保证（例如，子线性累积误差）？
• RQ4 深度表征学习的集成如何影响复杂环境中自适应控制的实际性能与泛化能力？
• RQ5 环境多样性在实现控制元学习中的作用是什么？其对理论收敛性有何影响？

主要发现

• OMAC在联合凸性和逐元素凸性假设下，首次实现了多任务非线性自适应控制的非渐近端到端收敛保证。
• 实验结果表明，OMAC显著优于不学习共享表征的传统自适应控制方法，尤其在不同风速条件下的倒立摆和6自由度无人机控制任务中表现突出。
• OMAC的双凸变体在参数量显著减少的情况下，性能与基于深度学习的OMAC相当，展现出优异的样本效率。
• 在摆杆任务中，OMAC（凸性）表现良好，归因于$ c $-不变与$ c $-依赖动力学的叠加，表明其对结构动力学复杂性的鲁棒性。
• 理论分析表明，环境多样性对性能至关重要，这得到了推论4和定理6的支持，二者表明在多样化任务分布下收敛性可得到改善。
• 结合深度表征学习的OMAC进一步提升了实际性能，证明了该框架在复杂控制任务中的可扩展性与实际可行性。