[論文レビュー] Meta-Adaptive Nonlinear Control: Theory and Algorithms

Guanya Shi, Kamyar Azizzadenesheli+3 more|arXiv (Cornell University)|Jun 11, 2021

Advanced Bandit Algorithms Research参考文献 64被引用数 19

ひとこと要約

本稿では、オンライン表現学習と適応制御理論を統合することで、敵対的擾乱および未知の環境依存動的特性を持つ非線形システムにおいて、高速かつ安定した適応を可能にする、新しいフレームワークであるオンラインメタ適応制御（OMAC）を提案する。本研究は、複数タスクの非線形制御における非漸近的エンドツーエンド収束保証を初めて提示し、風速が変化する条件下での振り子制御およびドローン制御において、従来の適応制御手法に比して実験的に優れた性能を示す。

ABSTRACT

We present an online multi-task learning approach for adaptive nonlinear control, which we call Online Meta-Adaptive Control (OMAC). The goal is to control a nonlinear system subject to adversarial disturbance and unknown $ extit{environment-dependent}$ nonlinear dynamics, under the assumption that the environment-dependent dynamics can be well captured with some shared representation. Our approach is motivated by robot control, where a robotic system encounters a sequence of new environmental conditions that it must quickly adapt to. A key emphasis is to integrate online representation learning with established methods from control theory, in order to arrive at a unified framework that yields both control-theoretic and learning-theoretic guarantees. We provide instantiations of our approach under varying conditions, leading to the first non-asymptotic end-to-end convergence guarantee for multi-task nonlinear control. OMAC can also be integrated with deep representation learning. Experiments show that OMAC significantly outperforms conventional adaptive control approaches which do not learn the shared representation, in inverted pendulum and 6-DoF drone control tasks under varying wind conditions.

研究の動機と目的

• 風速や地形の変化といった新しい環境条件に、自律ロボットが迅速に適応できるようにすること。
• オンライン表現学習と制御理論のギャップを埋めるために、オンライン表現学習と制御論的安定性保証を統合すること。
• 未知の環境依存動的特性下での複数タスク非線形制御に対して、エンドツーエンドの理論的収束保証（具体的には、累積制御誤差の非線形収束）を提供すること。
• 複数のタスク間で環境依存動的特性の共有表現を学習することで、新しいタスクにおける適応速度を向上させること。
• OMACに深層表現学習を統合し、理論的保証を維持したまま実験的性能を向上させること。

提案手法

• タスク間で環境依存動的特性の共有表現を学習できる階層的最適化フレームワークとメタアダプタを提案する。
• 共有表現に基づいて、環境に特化した制御更新を内側アダプタが実行することで、各環境における迅速な適応を可能にする。
• 制御問題を、時間ステップ（内側反復）を軸とするオンライン最適化問題の系列とし、環境（外側反復）を軸とする最適化問題として定式化する。
• オンライン凸最適化のツールを用いて、凸性仮定（同時かつ要素ごとの凸性）の下での理論的収束バウンドを導出する。
• OMACにおける表現学習者として深層ニューラルネットワークを統合し、制御保証を維持したエンドツーエンド微分可能な学習を可能にする。
• 環境が外側反復の開始時に敵対的に条件を選択し、コントローラーが観測された状態と制御フィードバックを用いてオンラインで適応する相互作用プロトコルを設計する。

実験結果

リサーチクエスチョン

• RQ1 非線形システムに対して、オンライン表現学習と制御論的安定性保証を統合した統一フレームワークを開発できるか？
• RQ2 環境依存動的特性の共有表現を学習することで、複数タスク設定における適応速度の向上と制御性能の向上が達成できるか？
• RQ3 複数タスク非線形適応制御に対して、非漸近的収束保証（例：非線形累積誤差）を確立できるか？
• RQ4 深層表現学習の統合は、複雑な環境における適応制御の実験的性能と一般化能力にどのように影響を与えるか？
• RQ5 環境の多様性は、制御における有効なメタ学習を可能にする役割を果たすか？また、理論的収束にどのような影響を与えるか？

主な発見

• OMACは、同時かつ要素ごとの凸性仮定の下で、複数タスク非線形適応制御に対する初めての非漸近的エンドツーエンド収束保証を達成した。
• 実験では、共有表現を学習しない従来の適応制御手法に比べ、OMACは特に風速が変化する条件下での振り子制御および6自由度ドローン制御において顕著に優れた性能を示した。
• バイ凸バージョンのOMACは、深層学習ベースのOMACと同等の性能を達成したが、顕著に少ないパラメータ数で実現され、サンプル効率の高さが示された。
• 振り子タスクでは、$ c $-不変および $ c $-依存動的特性の重ね合わせが働くため、OMAC（凸）は良好な性能を発揮し、構造的動的特性の複雑さに対してもロバストであることが示された。
• 理論的分析から、環境の多様性が性能に重要であることが示された。コロナリー4および定理6は、多様なタスク分布があるほど収束が改善されることを示唆している。
• 深層表現学習を統合したOMACは、さらに実験的性能を向上させ、本フレームワークが複雑な制御タスクにおけるスケーラビリティと実用的妥当性を有していることを示した。