[論文レビュー] Asynchronous Deep Model Reference Adaptive Control

Girish Joshi, Jasvir Virdi+1 more|arXiv (Cornell University)|Nov 4, 2020

Advanced Control Systems Optimization参考文献 35被引用数 27

ひとこと要約

本論文は、オンライン学習を備えた深層ニューラルネットワーク（DNN）を用いて、リアルタイムで安定した高帯域幅の飛行制御を実現する非同期的ディープモデルリファレンス適応制御（DMRAC）アーキテクチャを提案する。高速なオンボード推論と遅延の大きいオフボードバッチ学習（ドロップアウトを伴う）を分離することで、深刻な故障や風圧乱に強く適応可能であり、飛行試験において浅層MRACおよびPID制御を上回り、完全な一般化が達成され、墜落が一切発生しなかった。

ABSTRACT

In this paper, we present Asynchronous implementation of Deep Neural Network-based Model Reference Adaptive Control (DMRAC). We evaluate this new neuro-adaptive control architecture through flight tests on a small quadcopter. We demonstrate that a single DMRAC controller can handle significant nonlinearities due to severe system faults and deliberate wind disturbances while executing high-bandwidth attitude control. We also show that the architecture has long-term learning abilities across different flight regimes, and can generalize to fly different flight trajectories than those on which it was trained. These results demonstrating the efficacy of this architecture for high bandwidth closed-loop attitude control of unstable and nonlinear robots operating in adverse situations. To achieve these results, we designed a software+communication architecture to ensure online real-time inference of the deep network on a high-bandwidth computation-limited platform. We expect that this architecture will benefit other deep learning in the closed-loop experiments on robots.

研究の動機と目的

• 動的擾乱およびシステム故障下における、敏捷で不安定なロボットのリアルタイムで安定かつ適応的制御の課題に取り組む。
• 長期的な一般化能力および学習能力に限界がある浅層適応制御器の課題を克服する。
• 計算リソースが限られたプラットフォーム（例：小型ドローン）において、閉ループ制御に深層ニューラルネットワークを実装可能にする。
• オンボードおよびオフボードシステム間の通信障害に耐性を持つ、スケーラブルで非同期的な学習アーキテクチャを開発する。
• トレーニング中に観測されていない飛行軌道および極端な擾乱（例：ローター故障、強風バイアス）に対しても一般化できるかを実証する。

提案手法

• 高速・低速の非同期更新フレームワークを実装：DNNの最終層は埋め込み飛行制御装置上でリアルタイムに更新され、より深い層は別途のコンピュータ上でバッチ更新とドロップアウト正則化を用いてオフラインで学習される。
• モデルリファレンス適応制御（MRAC）構造を採用し、DNNを追従誤差を最小化する学習要因として用いながら、ラプラス安定性を保証する。
• オンボード制御装置とオフボードコンピュータ間で、通信の途切れを許容する非同期的な重み伝送を可能にする通信プロトコルを設計する。
• 飛行中に収集したオンラインデータを用いて、低速・中速・高速の風圧乱、およびローターチップ破損といった多様な飛行状態でDNNを段階的に学習する。
• 高次元DNN特徴量の可視化のためt-SNEおよびPCAを適用し、ネットワークが異なる飛行状態に対してどのように明確な表現を学習するかを分析する。
• 制限されたオンボード計算能力を有するParrot Mambo Flyクアッドコプターに、リアルタイム飛行スタックにDMRAC制御器を統合する。

実験結果

リサーチクエスチョン

• RQ1 計算リソースが限られたプラットフォーム上で、高帯域幅で不安定な空中機器に、リアルタイムで安定した深層ニューラルネットワークを閉ループ適応制御系に統合できるか？
• RQ2 バッチ更新とドロップアウトを用いたオフボードでの深い層の非同期的学習は、浅層適応制御器と比較して長期的な一般化能力および耐障害性を向上させるか？
• RQ3 トレーニングデータに含まれない飛行軌道や擾乱（例：高風圧乱、ローター故障）に対してもDMRAC制御器は一般化可能か？
• RQ4 DNNの内部特徴はトレーニング過程でどのように変化するか？また、異なる飛行状態や故障状態に対応する明確なクラスタリングが形成されるか？
• RQ5 提案された非同期アーキテクチャは、オンボードおよびオフボード部間で顕著な通信障害が生じても、システムの安定性と性能を維持できるか？

主な発見

• 深刻なシステム故障および風圧乱下で実施した8回の飛行試験において、DMRAC制御器は全試験で安定飛行を達成し、墜落は一切発生しなかった。一方、浅層MRAC制御器は8回中4回で失敗した。
• DMRAC制御器はX-Y-Z位置追従性能において優れた性能を示し、特に高擾乱状態下でMRACと比較して、追従誤差の平均および分散が顕著に低かった。
• DNN特徴量のt-SNE可視化により、低・中・高風圧乱およびローター故障状態に対応するクラスタが明確に空間的に分離していることが確認され、効果的な表現学習が行われていることが示された。
• ネットワークは異なる飛行状態を識別し、風圧乱強度が上昇するに従い、風圧乱ケースが段階的に分離するのに対し、故障と風圧乱のクラスタは明確に分離していた。
• オンボードおよびオフボード部間の通信障害を効果的に耐容し、非同期的な重み更新中でもリアルタイム制御と安定性を維持できた。
• トレーニングデータに含まれない飛行軌道に対してもDMRAC制御器は一般化でき、トレーニング分布を超えた長期的な学習と適応性を示した。