[論文レビュー] Model-Reference Reinforcement Learning Control of Autonomous Surface Vehicles with Uncertainties

Qingrui Zhang, Wei Pan+1 more|arXiv (Cornell University)|Mar 30, 2020

Reinforcement Learning in Robotics参考文献 32被引用数 10

ひとこと要約

本論文は、従来のベースライン制御則と深層強化学習を組み合わせることで、不確実性を有する自律型海上船（ASV）の安定化と軌道追従性の向上を図るモデル・リファレンス強化学習制御フレームワークを提案する。従来制御の安定性保証と深層RLの適応的補償を活用することで、より速い収束性、高いサンプル効率、閉ループ安定性を達成した。シミュレーションにより、純粋なRLや単独のベースライン制御と比較して優れた追従性能と安定性が実証された。

ABSTRACT

This paper presents a novel model-reference reinforcement learning control method for uncertain autonomous surface vehicles. The proposed control combines a conventional control method with deep reinforcement learning. With the conventional control, we can ensure the learning-based control law provides closed-loop stability for the overall system, and potentially increase the sample efficiency of the deep reinforcement learning. With the reinforcement learning, we can directly learn a control law to compensate for modeling uncertainties. In the proposed control, a nominal system is employed for the design of a baseline control law using a conventional control approach. The nominal system also defines the desired performance for uncertain autonomous vehicles to follow. In comparison with traditional deep reinforcement learning methods, our proposed learning-based control can provide stability guarantees and better sample efficiency. We demonstrate the performance of the new algorithm via extensive simulation results.

研究の動機と目的

• 非線形な水力学的特性と未知の環境的擾乱を受ける自律型海上船（ASV）における軌道追従の課題に対処すること。
• 純粋な深層強化学習の限界、特に閉ループ安定性の欠如と低いサンプル効率を克服すること。
• 従来制御と深層RLを統合することで、システムの安定性を保ちつつ、モデル不確実性に対する適応的補償を可能にすること。
• 名目系を学習の基準として用いることで、サンプル効率と追従精度を向上させること。
• 持続的励起や不確実性の境界に関する事前知識を必要としない安定でデータ駆動型の制御ソリューションを提供すること。

提案手法

• 閉ループ安定性を保証するため、従来制御手法を用いてベースライン制御則を設計する目的で名目系を定義する。
• ASVの線形化モデルを用い、ゲイン行列GとHを有する状態フィードバック制御則からベースライン制御則を導出する。
• モデル不確実性および名目モデルが捉えきれない擾乱を補償するため、深層強化学習を用いて補正制御則を学習する。
• 持続的励起をデプロイメント段階で必要としないように、履歴データと確率的勾配降下法を用いてオフラインで学習を実施する。
• 全体の制御入力は、ベースライン制御と深層RLが生成する補正の和として構成され、ハイブリッド制御アーキテクチャを形成する。
• リャプノフに基づく安定性解析を用いて、不確実性が存在する中でも結合制御則がシステム安定性を維持することを保証する。

実験結果

リサーチクエスチョン

• RQ1 従来制御と深層強化学習を統合したハイブリッド制御フレームワークは、不確かなASVに対して閉ループ安定性を確保できるか？
• RQ2 ベースライン制御則の導入は、ASV制御における深層強化学習のサンプル効率にどのように影響するか？
• RQ3 モデル不確実性が存在する状況下で、深層RLは単独のベースライン制御と比較して、どの程度軌道追従性能を向上させられるか？
• RQ4 再トレーニングなしで参照軌道が変更された場合、提案手法は安定性と性能を維持できるか？
• RQ5 周波数や構造に関する事前知識がなくても、不一致する不確実性と擾乱を補償できるか？

主な発見

• 純粋な深層RLと比較して、提案手法はトレーニングにおける収束が速く、長期的なリターンが高いため、サンプル効率が向上した。
• ベースライン制御の導入により、ベースライン単独の制御と比較して平均絶対距離誤差が約50％削減され、追従精度が顕著に向上した。
• 最初の評価では、提案手法は200秒間にわたり安定した軌道追従を確保したが、純粋なRLは安定性を維持できなかった。
• 変更された参照軌道を用いた第二の評価では、提案手法は閉ループ安定性を維持し、ベースライン制御と純粋なRLの両方を上回る追従精度を示した。
• 学習曲線から、提案アルゴリズムがRL単独のベースラインよりも、より高いリターン値に迅速に収束することが確認され、サンプル効率の向上が裏付けられた。
• 周波数や構造に関する事前知識がなくても、不一致する不確実性と擾乱を効果的に補償できた。