[论文解读] Asynchronous Deep Model Reference Adaptive Control

Girish Joshi, Jasvir Virdi+1 more|arXiv (Cornell University)|Nov 4, 2020

Advanced Control Systems Optimization参考文献 35被引用 27

一句话总结

本文提出了一种异步深度模型参考自适应控制（DMRAC）架构，通过使用具备在线学习能力的深度神经网络（DNN），实现了在四旋翼飞行器上实时、稳定、高带宽的飞行控制。通过将快速的机载推理与较慢的离线批量训练（采用Dropout正则化）解耦，系统能够有效适应严重故障和风扰动，在飞行测试中展现出优于浅层MRAC和PID控制器的性能，具备完全泛化能力且无任何坠机事件。

ABSTRACT

In this paper, we present Asynchronous implementation of Deep Neural Network-based Model Reference Adaptive Control (DMRAC). We evaluate this new neuro-adaptive control architecture through flight tests on a small quadcopter. We demonstrate that a single DMRAC controller can handle significant nonlinearities due to severe system faults and deliberate wind disturbances while executing high-bandwidth attitude control. We also show that the architecture has long-term learning abilities across different flight regimes, and can generalize to fly different flight trajectories than those on which it was trained. These results demonstrating the efficacy of this architecture for high bandwidth closed-loop attitude control of unstable and nonlinear robots operating in adverse situations. To achieve these results, we designed a software+communication architecture to ensure online real-time inference of the deep network on a high-bandwidth computation-limited platform. We expect that this architecture will benefit other deep learning in the closed-loop experiments on robots.

研究动机与目标

• 解决在动态干扰和系统故障下，对敏捷且不稳定的机器人实现实时、稳定、自适应控制的挑战。
• 克服浅层自适应控制器在长期泛化能力和学习容量方面的局限性。
• 实现在计算资源受限平台（如小型无人机）上闭环控制中部署深度神经网络。
• 开发一种可扩展的异步学习架构，能够容忍机载与远程系统之间的通信中断。
• 在未见过的飞行轨迹及极端干扰（如电机失效和强风偏置）下实现泛化能力。

提出的方法

• 实施快-慢异步更新框架：DNN的最终层在嵌入式飞行控制器上实时更新，而深层网络则在独立计算机上通过批量更新和Dropout正则化进行离线训练。
• 采用模型参考自适应控制（MRAC）结构，使DNN作为学习元件以最小化跟踪误差，同时确保李雅普诺夫稳定性。
• 设计一种通信协议，支持从远程计算机到机载控制器的间歇性、异步传输更新后的内部层权重，能够容忍显著的通信中断。
• 利用飞行过程中收集的在线数据，对DNN在不同飞行状态（低、中、高风偏置，以及旋翼尖端破损）下进行渐进式训练。
• 应用t-SNE和PCA对高维DNN特征进行可视化，分析网络如何为不同飞行条件学习到区分性的表征。
• 将DMRAC控制器集成到Parrot Mambo Fly四旋翼飞行器的实时飞行栈中，该平台具备有限的机载计算能力。

实验结果

研究问题

• RQ1 能否在计算资源受限的高带宽、不稳定飞行器上，有效且稳定地将深度神经网络集成到闭环自适应控制系统中？
• RQ2 与浅层自适应控制器相比，采用批量更新和Dropout正则化的异步远程训练方法，是否能提升深层DNN的长期泛化能力和鲁棒性？
• RQ3 DMRAC控制器能否泛化到训练阶段未见过的飞行轨迹和干扰（如高风偏置或电机失效）？
• RQ4 DNN的内部特征在训练过程中如何演化？是否形成了对应于不同飞行状态和故障条件的可分聚类？
• RQ5 所提出的异步架构能否在机载与远程组件之间存在显著通信中断的情况下，维持系统的稳定性和性能？

主要发现

• 在八次严重系统故障和风扰飞行测试中，DMRAC控制器在所有情况下均实现稳定飞行且无任何坠机，而浅层MRAC控制器在八次飞行中有四次失败。
• DMRAC控制器在X-Y-Z位置的参考轨迹跟踪性能更优，其跟踪误差的均值和方差显著低于MRAC，尤其在高干扰环境下表现更佳。
• DNN特征的t-SNE可视化显示，低、中、高风偏置以及电机故障对应的聚类在空间上呈现清晰分离，表明网络具备有效的表征学习能力。
• 网络成功区分了不同飞行状态，随着干扰强度增加，风扰情况的聚类逐步分离，而故障与风扰聚类始终保持可区分。
• 系统成功容忍了机载与远程组件之间的通信中断，在异步权重更新期间仍保持实时控制与稳定性。
• DMRAC控制器成功泛化到训练数据中未包含的飞行轨迹，展现出超越训练分布的长期学习与适应能力。