[論文レビュー] Proportional integral derivative controller assisted reinforcement learning for path following by autonomous underwater vehicles

Simen Theie Havenstrøm, Camilla Sterud+2 more|arXiv (Cornell University)|Feb 3, 2020

Adaptive Dynamic Programming Control参考文献 38被引用数 4

ひとこと要約

本稿では、比例積分微分（PID）コントローラーを用いてDRL学習を支援することで、自律水中航行機器（AUV）における3次元パスフォローリングのための新しい深層強化学習（DRL）手法を提案する。PID支援型アプローチは制御を3つのアクチュエータ（ラダー、エレベーター、推力）に分割し、時間ステップ数を削減し、予期しない海流に対しても安定かつ効率的な学習を可能にし、エンドツーエンドDRLより安定性と収束性に優れる。

ABSTRACT

Control theory provides engineers with a multitude of tools to design controllers that manipulate the closed-loop behavior and stability of dynamical systems. These methods rely heavily on insights about the mathematical model governing the physical system. However, if a system is highly complex, it might be infeasible to produce a reliable mathematical model of the system. Without a model most of the theoretical tools to develop control laws break down. In these settings, machine learning controllers become attractive: Controllers that can learn and adapt to complex systems, developing control laws where the engineer cannot. This article focuses on utilizing machine learning controllers in practical applications, specifically using deep reinforcement learning in motion control systems for an autonomous underwater vehicle with six degrees-of-freedom. Two methods are considered: end-to-end learning, where the vehicle is left entirely alone to explore the solution space in its search for an optimal policy, and PID assisted learning, where the DRL controller is essentially split into three separate parts, each controlling its own actuator.

研究の動機と目的

• 複雑で不確実な水中環境における6自由度の自律水中航行機器（AUV）の制御という課題に対処すること。
• 正確な数学的モデルに依存する従来の制御手法の限界を克服し、非線形性や外部乱れに対応すること。
• AUVパスフォローリングにおけるモデルベース制御の代替手段として、データ駆動型機械学習制御（MLC）の有効性を検討すること。
• DRL学習における補助制御層としてPIDコントローラーを統合することで、学習の安定性と収束速度を向上させること。
• 訓練時にこのような状況を想定していない未観測の海流のような外部干渉に対して、DRLコントローラーのロバスト性を検証すること。

提案手法

• 3次元空間的軌道を追跡するためのエージェントを学習させるために、近接ポリシー最適化（PPO）アルゴリズムを用いた深層強化学習（DRL）を採用する。
• DRLエージェントが1つのアクチュエータ（ラダー、エレベーター、または推力）のみを制御するPID支援型学習フレームワークを実装し、残りの2つのアクチュエータは固定のPIDコントローラーで安定化する。
• 追跡誤差と制御効率を最小化するための二次コスト関数を報酬信号として使用する。
• 最初に海流のないシミュレーテッド環境でDRLエージェントを学習させ、その後、未観測の流れの影響下での性能を評価する。
• エンドツーエンドDRL（エージェントが全制御を担当）とPID支援型DRL（各アクチュエータごとにモジュラー制御）を、訓練効率、収束性、ロバスト性の観点から比較する。
• 高精度なAUVシミュレーションモデルから得た合成データを用いて、トレーニング軌道と報酬信号を生成する。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドDRLと比較して、PID支援型制御を用いたDRLは、AUVにおける3次元パスフォローリングのための訓練をより高速かつ安定的に行えるか？
• RQ2 訓練時にこのような状況を想定していない海流の影響下でも、DRLコントローラーはどの程度の性能を示すか？
• RQ3 PID支援型アーキテクチャは、収束に必要なシミュレーション時間ステップ数をどの程度削減できるか？
• RQ4 再トレーニングなしで、DRLエージェントは訓練済みでない新たな環境条件に一般化できるか？
• RQ5 ブラックボックスDNNとハイブリッドPID-DRL制御構造の間で、解釈可能性と性能のトレードオフはどのようなものか？

主な発見

• PID支援型DRLアプローチは、エンドツーエンド学習と比較して、コントローラーを学習するために必要なシミュレーション時間ステップ数を顕著に削減した。
• DRLエージェントは、静水で訓練されたにもかかわらず、強度が異なる海流の影響下でも安定した3次元パスフォローリングを達成した。
• 海流の存在下で、垂直方向の制御偏差が一定に観測された。これは部分的な補償は行われたが、完全な外部干渉の抑制は行われていないことを示している。
• エンドツーエンドDRL手法は有望な結果を示したが、訓練設定に極めて敏感で、報酬形状の複雑化が課題であった。
• PID支援型手法は未観測の干渉に対してロバストであることが示され、実世界応用における一般化の可能性を示唆した。
• 事前のモデル知識の欠如と、探索と活用による自己調整性が、従来の制御手法と比較してDRLの主な利点であることが確認された。