[論文レビュー] Reinforcement Learning Ship Autopilot: Sample efficient and Model Predictive Control-based Approach

Yunduan Cui, Shigeki Osaki+1 more|arXiv (Cornell University)|Jan 23, 2019

Reinforcement Learning in Robotics参考文献 31被引用数 7

ひとこと要約

本論文では、ガウス過程によるダイナミクスモデルと反復的MPCを組み合わせることで、サンプル効率的でロバストな実サイズボートのオートパイLOT制御を実現する、モデルベース強化学習手法であるサンプル効率的確率的モデル予測制御（SPMPC）を提案する。本システムは、最小限の人的デモで実海洋環境下での自律航行を学習し、600回の環境インタラクションで4分未満で安定したターゲット追従を達成する。

ABSTRACT

In this research we focus on developing a reinforcement learning system for a challenging task: autonomous control of a real-sized boat, with difficulties arising from large uncertainties in the challenging ocean environment and the extremely high cost of exploring and sampling with a real boat. To this end, we explore a novel Gaussian processes (GP) based reinforcement learning approach that combines sample-efficient model-based reinforcement learning and model predictive control (MPC). Our approach, sample-efficient probabilistic model predictive control (SPMPC), iteratively learns a Gaussian process dynamics model and uses it to efficiently update control signals within the MPC closed control loop. A system using SPMPC is built to efficiently learn an autopilot task. After investigating its performance in a simulation modeled upon real boat driving data, the proposed system successfully learns to drive a real-sized boat equipped with a single engine and sensors measuring GPS, speed, direction, and wind in an autopilot task without human demonstration.

研究の動機と目的

• 実世界のボート自律走行における高いサンプルコストと環境の不確実性（特に予測不能な風、海流、センサノイズ）に対処する。
• 人的デモなしでロバストな制御方策を学習可能な強化学習システムを構築し、実サイズの無人水上航行機器に適したものとする。
• モデルベースRLとガウス過程、MPCを統合することで、動的な海洋環境下におけるサンプル効率性とリアルタイムのロバスト性を向上させる。
• 高精度なシミュレーション（実ボートデータでチューニング済み）と実ボートを用いたオープンオーシャンでの実環境での両方でシステムを検証する。
• 1台のエンジン搭載・センサ装備ボートが、RLベースのポリシー学習のみに依存して、ターゲット位置に自律的に到達し、維持可能であることを示す。

提案手法

• SPMPCは、ベイジアンフレームワークで不確実性を捉えるためにスパースガウス過程（GP）を用いてボートのダイナミクスをモデル化する。
• RLのロールアウト中に収集したデータを用いて、GPモデルを反復的に改善することで、予測精度を時間経過とともに向上させる。
• 有限の予測ホライズンを用いたモデル予測制御（MPC）フレームワークを採用し、リアルタイムのフィードバックと外部乱れの抑制を実現する。
• 状態推定と制御入力の系統的誤差を補正するため、GPモデルにバイアス補正を実装する。
• ターゲットへのユークリッド距離に基づくコスト関数を用い、予測ホライズンH=5ステップの範囲で最適化を実行する。
• 探索と活用のバランスを取るために、ハイブリッドデータ収集戦略を採用：50%がランダムアクション、50%がポリシー駆動の探索。

実験結果

リサーチクエスチョン

• RQ1 実世界のデータ収集コストが高いため、GPダイナミクスモデルを用いたモデルベースRLアプローチが、実ボート自律走行においてもサンプル効率性を達成できるか。
• RQ2 GPの不確実性とMPCフィードバックの統合が、風や海流といった予測不能な海洋障害に対してどれほどロバスト性を向上させるか。
• RQ3 人的デモなしで、実海洋環境下での強化学習に依存して安定したオートパイLOTポリシーを学習できるか。
• RQ4 異なる数の擬似入力（pseudo-inputs）を用いたスパースGPにおいて、計算効率とモデル精度のトレードオフはどの程度か。
• RQ5 GPモデルにおけるバイアス補正が、実世界の条件下で制御性能をどの程度向上させるか。

主な発見

• SPMPCシステムは、600回の環境インタラクションを用いて、実サイズボートをターゲット位置[100,100]に約3.5分で到達させることに成功した。
• 500個の擬似入力では、GPモデルの平均ロールアウト誤差が64.46メートルであったが、50個の擬似入力では誤差が121.03メートルに増加したものの、推論時間は1.55秒に著しく短縮された。
• 本システムは、風（2 m/s、135°）と海流（0.0–0.2 m/s、45°）といった実海洋の障害に対してもロバストであることが実証され、環境の変動にもかかわらずターゲットに近接を維持した。
• GPモデルにおけるバイアス補正の導入により、制御性能が顕著に向上し、事前の人的デモなしで安定した追従制御が可能になった。
• RLプロセス中に20ステップ（約2.5分）未満で収束を達成しており、優れたサンプル効率性を示した。
• 実環境実験により、SPMPCフレームワークが限られたハードウェアでもリアルタイムで計算可能で、オープンオーシャン環境下で安定したオートパイLOT制御を実現できることを確認した。