[論文レビュー] Depth Control of Model-Free AUVs via Reinforcement Learning

Hui Wu, Shiji Song+2 more|arXiv (Cornell University)|Nov 22, 2017

Reinforcement Learning in Robotics参考文献 22被引用数 12

ひとこと要約

本論文は、正確な力学モデルが得られない場合でも、優先順位付き経験リプレイを用いた深層決定的方策勾配（DDPG）を用いたモデルフリー強化学習フレームワークを提案し、自律水中航行機器（AUV）の深さ制御を実現する。この手法は、サンプルされた軌道からニューラルネットワークを介して状態フィードバック制御則を学習し、LQI や NMPC といったモデルベース制御法と同等の性能を達成する。部分観測下における実海域海底追従タスクにおいても同様の性能を示す。

ABSTRACT

In this paper, we consider depth control problems of an autonomous underwater vehicle (AUV) for tracking the desired depth trajectories. Due to the unknown dynamical model of the AUV, the problems cannot be solved by most of model-based controllers. To this purpose, we formulate the depth control problems of the AUV as continuous-state, continuous-action Markov decision processes (MDPs) under unknown transition probabilities. Based on deterministic policy gradient (DPG) and neural network approximation, we propose a model-free reinforcement learning (RL) algorithm that learns a state-feedback controller from sampled trajectories of the AUV. To improve the performance of the RL algorithm, we further propose a batch-learning scheme through replaying previous prioritized trajectories. We illustrate with simulations that our model-free method is even comparable to the model-based controllers as LQI and NMPC. Moreover, we validate the effectiveness of the proposed RL algorithm on a seafloor data set sampled from the South China Sea.

研究の動機と目的

• 正確な力学モデルが得られないもしくは実用的でないAUVの深さ制御の課題に対処すること。
• 一定深さ維持、曲線軌道追従、海底追従の3つの深さ制御問題を、連続状態・連続行動のマーカフ連鎖過程（MDP）として定式化すること。
• システムの力学的特性に依存せずに、AUVの軌道データから直接状態フィードバック制御則を学習するモデルフリー強化学習アルゴリズムの開発。
• 過去の軌道の経験を優先順位付きで再利用するバッチ学習スキームを用いて、データ効率と学習収束性を向上させること。
• シミュレーテッドAUVの動的特性および南シナ海からの実海底データを用いて手法を検証し、部分観測下でも頑健であることを示すこと。

提案手法

• 追従誤差と制御効率を反映する独自の状態関数および1ステップコスト関数を用いて、連続状態・連続行動のMDPとして深さ制御問題をモデル化すること。
• 2つのニューラルネットワーク（方策ネットワークとQ値ネットワーク）を用いた深層決定的方策勾配（DDPG）ベースのアルゴリズムを実装すること。
• ターゲットネットワークを用いた時系列差分学習により学習を安定化させ、Q値ネットワークをベルマン方程式に従って更新すること。
• TD誤差に基づいて過去の経験を再利用する優先順位付き経験リプレイ機構を適用し、サンプル効率と収束速度を向上させること。
• 曲線軌道や海底追従における観測不能な深さトレンドを補償するため、最近の相対的深さ測定値（ウィンドウサイズ）を状態表現に組み込むこと。
• ポリシーのエンドツーエンド学習を、オンポリシーのロールアウトとオフポリシーのリプレイを組み合わせ、ポリシーとQ値ネットワークを交互に更新することで実現すること。

実験結果

リサーチクエスチョン

• RQ1 正確な力学モデルが入手不可な状況下でも、モデルフリー強化学習アプローチがLQI や NMPC といったモデルベース制御法と同等の深さ制御性能を達成できるか？
• RQ2 特に最近の深さ履歴の取り入れ方を含めた状態表現の選択が、部分観測下の深さ追従タスクにおける強化学習ポリシーの性能に与える影響は何か？
• RQ3 曲線軌道または海底追従タスクにおいて、ポリシー性能を向上させるために過去の相対的深さ測定値をどの程度のウィンドウサイズで統合すべきか？
• RQ4 優先順位付き経験リプレイは、AUV深さ制御におけるDDPGベースの学習アルゴリズムのデータ効率と収束性をどのように向上させるか？
• RQ5 提案された強化学習フレームワークは、南シナ海から取得した実際の複雑な海底プロファイルを、部分観測下でも効果的に追従できるか？

主な発見

• 提案されたNNDPGアルゴリズムは、真のAUV動的特性が不明な状況下でも、シミュレーションにおいてLQI や NMPC といったモデルベース制御法と同等の追従性能を達成する。
• 最近の相対的深さ測定値のウィンドウ（ウィンドウサイズ = 3）を用いることで、曲線深さ追従タスクにおける性能が著しく向上し、現在の深さのみを用いる場合に比べて追従誤差が低減される。
• 10回の実験における長期コストのボックスプロット分析から、ウィンドウサイズ3が最小の平均値と分散を示しており、情報の獲得と古くなったデータからのノイズの両立において最適なバランスを示している。
• 優先順位付き経験リプレイは、学習収束性とデータ効率を向上させ、AUVからの限られたオンラインデータでも効果的な学習を可能にする。
• 実際の南シナ海の海底プロファイルを、相対的深さ履歴のみを入力として用いても、成功裏に追従することができ、複雑で急激に変化する地形に対しても頑健で適応可能なことを示した。
• 本研究は、状態設計が極めて重要であることを確認した。一定深さ制御に適した状態は、曲線軌道追従においては部分観測的になるため、履歴深さデータを用いた状態拡張が不可欠である。