[論文レビュー] Model-Reference Reinforcement Learning for Collision-Free Tracking Control of Autonomous Surface Vehicles

Qingrui Zhang, Wei Pan+1 more|arXiv (Cornell University)|Aug 17, 2020

Adaptive Dynamic Programming Control参考文献 54被引用数 6

ひとこと要約

本稿では、モデル参照強化学習（RL）フレームワークを提案し、モデル不確実性下でも衝突のない軌道追従を達成するため、自律型海上船舶（ASV）に適用する。名目系モデルとラプラス型安定性保証を活用することで、全系の動的特性を完全に把握しなくても、ロバスト性、サンプル効率の向上、閉ループ安定性を確保する。従来のディープRLに比べ、安定性と収束性に優れる。

ABSTRACT

This paper presents a novel model-reference reinforcement learning algorithm for the intelligent tracking control of uncertain autonomous surface vehicles with collision avoidance. The proposed control algorithm combines a conventional control method with reinforcement learning to enhance control accuracy and intelligence. In the proposed control design, a nominal system is considered for the design of a baseline tracking controller using a conventional control approach. The nominal system also defines the desired behaviour of uncertain autonomous surface vehicles in an obstacle-free environment. Thanks to reinforcement learning, the overall tracking controller is capable of compensating for model uncertainties and achieving collision avoidance at the same time in environments with obstacles. In comparison to traditional deep reinforcement learning methods, our proposed learning-based control can provide stability guarantees and better sample efficiency. We demonstrate the performance of the new algorithm using an example of autonomous surface vehicles.

研究の動機と目的

• 未知の水泳特性と外乱を伴う不確実な自律型海上船舶（ASV）における正確で衝突のない軌道追従の課題に対処すること。
• 時間遅れ、過剰な保守性、高コストなモデル化を抱える従来の経路計画およびモデルベース制御手法の限界を克服すること。
• 閉ループ安定性とロバスト性を保証しながら、モデル不確実性を補償する学習ベースの制御フレームワークを開発すること。
• ASV制御における標準的なディープ強化学習手法と比較して、サンプル効率と安定性を向上させること。

提案手法

• 名目系モデルを定義し、従来の制御手法を用いてベースライン追従制御器を設計する。これは、障害物のない環境における望ましい挙動を表す。
• 全体の制御器は、ベースライン制御器と、モデル不確実性および外乱を補償するのを学習する強化学習モジュールを組み合わせる。
• 追従誤差の均一最終有界性を保証するため、ラプラス型安定性解析を採用し、不確実性下での閉ループ安定性を確保する。
• 強化学習エージェントは、リプレイバッファとターゲットネットワークを備えた、二重遅延深層決定的方策勾配（TD3）アルゴリズムを用い、安定な学習を実現する。
• コメンタリアルネットワークは状態-行動価値を評価し、アクトアーネットワークは制御入力を出力する。両者とも、割引率γ = 0.998を用いた時系列差分学習により更新される。
• 報酬形状関数を導入し、追従誤差と障害物への接近度をペナルティ化することで、同時に衝突回避と軌道追従を実現する。

実験結果

リサーチクエスチョン

• RQ1 モデル参照型RLフレームワークは、最小限の事前系モデル化で、不確実なASVに対して安定かつ衝突のない追従を達成できるか？
• RQ2 提案手法は、ASV制御における標準的ディープRLと比較して、どのようにサンプル効率と安定性を向上させるか？
• RQ3 RLモジュールは、閉ループ安定性を維持しながら、未モデル化の動的特性および環境外乱をどの程度補償できるか？
• RQ4 名目制御器とRLの統合は、単独のRLや古典的制御と比較して、より高い追従精度とロバスト性を実現できるか？

主な発見

• 提案されたモデル参照型RL手法は、ラプラス解析による理論的安定性保証のもと、追従誤差の均一最終有界性を達成する。
• 標準的ディープ強化学習ベースラインと比較して、サンプル効率が向上し、収束が速いことが示された。
• 動的環境下でも障害物を効果的に回避し、安全な距離を保ちながら複雑な軌道を追従する。
• シミュレーション結果から、追従誤差は有界領域内に保たれ、制御ゲインの調整により最終有界性を調整可能であることが分かった。
• 不確実性下でも、従来のロバスト制御および適応制御よりも過渡応答（例えば、過渡超過と安定化時間の短縮）が優れている。
• 名目系モデルの使用により、より良い初期化と収束が可能となり、高次元制御空間における不安定な学習のリスクが低減される。