[論文レビュー] Goal-Driven Dynamics Learning via Bayesian Optimization

Somil Bansal, Roberto Calandra+3 more|arXiv (Cornell University)|Mar 27, 2017

Gaussian Processes and Bayesian Inference参考文献 20被引用数 33

ひとこと要約

本論文では、実ロボットシステム上でコントローラー性能を最大化するために、局所線形ダイナミクスモデルを反復的に精緻化するベイジアン最適化ベースのアクティブラーニングフレームワークaDOBOを提案する。閉ループ性能フィードバックに基づいてモデルパラメータを直接最適化することで、四脚クアッドローターの実験台で45反復後に、完全な非線形ダイナミクスから導出されたノーマルコントローラーよりも12%優れた制御性能を達成した。

ABSTRACT

Real-world robots are becoming increasingly complex and commonly act in poorly understood environments where it is extremely challenging to model or learn their true dynamics. Therefore, it might be desirable to take a task-specific approach, wherein the focus is on explicitly learning the dynamics model which achieves the best control performance for the task at hand, rather than learning the true dynamics. In this work, we use Bayesian optimization in an active learning framework where a locally linear dynamics model is learned with the intent of maximizing the control performance, and used in conjunction with optimal control schemes to efficiently design a controller for a given task. This model is updated directly based on the performance observed in experiments on the physical system in an iterative manner until a desired performance is achieved. We demonstrate the efficacy of the proposed approach through simulations and real experiments on a quadrotor testbed.

研究の動機と目的

• 正確なダイナミクスモデルが入手不可能または導出が現実的でない場合に、複雑なロボットシステムを制御する課題に対処すること。
• グローバルに最も正確なモデルを求めるのではなく、タスク固有に最適化されたダイナミクスモデルを学習することで制御性能を向上させること。
• 物理的実験の回数を最小限に抑えることで、データ効率の良い学習を可能にすること。
• 従来のシステム同定やコントローラー調整の限界を克服すること。これらはしばしばモデル誤差や現実世界のフィードバック不足のため失敗する。
• 予測誤差の最小化に依存するのではなく、実システムのフィードバックを直接用いてコントローラー性能に最適化されたダイナミクスモデルを学習するフレームワークを開発すること。

提案手法

• フレームワークは、過去の性能観測に基づいて、物理システム上でテストする次のダイナミクスモデルパラメータのセットをベイジアン最適化（BO）で反復的に選択する。
• 局所線形ダイナミクスモデルは、低次元のベクトルθでパラメータ化され、速度成分（v_x, v_y）の未知のダイナミクスがロール角およびピッチ角と推力の線形関数としてモデル化される。
• 各実験後、現在のダイナミクスモデルとタスク固有のコスト関数を用いて線形二次調節器（LQR）によりコントローラーを再計算する。
• 閉ループコントローラーの性能（コスト）は実システムで測定され、BOにおける目的関数として用いられ、モデルパラメータの事後分布を更新する。
• BOの獲得関数が、次に評価するθの選択をガイドし、探索と活用のバランスを保ちながら、制御コストを最小化するモデルを効率的に特定する。
• 望ましい性能閾値に達するか、最大反復回数に達するまでプロセスを継続する。

実験結果

リサーチクエスチョン

• RQ1 理論的またはノーマルシステムダイナミクスから導出されたモデルよりも、現実世界のコントローラー性能フィードバックから直接ダイナミクスモデルを学習することで、優れた性能を達成できるか？
• RQ2 ベイジアン最適化は、複雑なロボットシステムで高い制御性能を達成するために必要な物理的実験の回数をどの程度削減できるか？
• RQ3 性能フィードバックに基づいて最適化されたタスク固有のダイナミクスモデルは、実際の運用において、グローバルに正確だが適合しないノーマルダイナミクスモデルと比べてどのように異なるか？
• RQ4 標準的なシステム同定では不十分な、未モデル化された効果やシステムの非線形性が性能を低下させる場合、提案されたフレームワークはそれらに対処できるか？
• RQ5 最適化プロセス中に不安定な制御設定を問い合わせることによる、安全性とスケーラビリティへの影響は何か？

主な発見

• 45反復後、aDOBOで学習されたコントローラーは、Crazyflieクアッドローターの完全な12次元非線形ダイナミクスモデルに基づくノーマルコントローラーよりも12%優れた性能を達成した。
• ノーマルコントローラーは当初、学習されたコントローラーよりも優れていたが、aDOBOは数反復でその性能を上回った。これは、未モデル化された現実世界のダイナミクスを適切に捉えられることに起因する。
• 真のシステムダイナミクスに関する事前の知識がなくても、フレームワークはコントローラー性能を最大化するダイナミクスモデルを成功裏に学習した。
• 本手法はデータ効率性を示し、実クアッドローター・システムでたった45回の物理的実験で優れた性能を達成した。
• 真のダイナミクスが非線形的で部分的に未知であっても、予測精度ではなくコントローラー性能を最適化することで、より優れた現実世界の制御結果が得られることを示した。
• 本手法はモデル誤差に強く、空気力学的干渉やセンサバイアスなどの未モデル化効果に適応できることを示した。