[論文レビュー] Deep Reinforcement Learning Controller for 3D Path-following and Collision Avoidance by Autonomous Underwater Vehicles

Simen Theie Havenstrøm, Adil Rasheed+1 more|arXiv (Cornell University)|Jun 17, 2020

Robotic Path Planning Algorithms参考文献 25被引用数 9

ひとこと要約

本稿では、センサー入力と経路追従性と障害物回避のバランスを取る報酬関数を用いて、自律水中航行機器（AUV）における3次元経路追従と衝突回避のための深層強化学習（DRL）コントローラーを提案する。PPO（近接方策最適化）を用いた手法は、人間並みの意思決定を達成し、極端な障害物状況下で99.25％の衝突なし率を達成するとともに、海洋流下でも1m未塔の追従精度を達成した。

ABSTRACT

Control theory provides engineers with a multitude of tools to design controllers that manipulate the closed-loop behavior and stability of dynamical systems. These methods rely heavily on insights about the mathematical model governing the physical system. However, in complex systems, such as autonomous underwater vehicles performing the dual objective of path-following and collision avoidance, decision making becomes non-trivial. We propose a solution using state-of-the-art Deep Reinforcement Learning (DRL) techniques, to develop autonomous agents capable of achieving this hybrid objective without having à priori knowledge about the goal or the environment. Our results demonstrate the viability of DRL in path-following and avoiding collisions toward achieving human-level decision making in autonomous vehicle systems within extreme obstacle configurations.

研究の動機と目的

• 従来の制御手法が競合する目的を抱える非アクチュエートAUVにおける3次元経路追従と衝突回避の統合的課題に対処すること。
• 環境や目的の事前知識がなくても、経路追従性と障害物回避のバランスを学習できるDRLベースのコントローラーを開発すること。
• 状態フィードバックとソナー入力のみを用いて、複雑で動的な水中環境における自律意思決定を可能にすること。
• 障害物配置の変動、特にデッドエンドや積み重ねられた障害物のような極端なケースを含む、さまざまな障害物構成におけるコントローラーの頑健性を評価すること。
• DRLが現実的な水動的擾乱下でAUVナビゲーションにおいて人間並みのパフォーマンスを達成できるかを実証すること。

提案手法

• AUVのアクチュエータ用制御方策を学習するため、最先端の連続制御アルゴリズムである近接方策最適化（PPO）を用いてDRLエージェントを訓練した。
• エージェントはAUVの状態（位置、速度、姿勢）、制御誤差、海洋流の擾乱、前方指向ソナー情報の観測を行う。
• 経路逸脱、衝突、過剰な制御入力、およびロールに対する2次罰則を含む報酬関数を採用し、経路追従と衝突回避のバランスを調整する調整可能なハイパーパrameter λr を用いた。
• 巡航速度を所望の値に維持するための別個のPIコントローラーを採用し、DRLエージェントは舵とエンジンフィンの制御を担当して経路追従と障害物回避を実現した。
• 段階的学習（curriculum learning）を適用し、単純な経路から始めて徐々に複雑な障害物配置に訓練を進めた。
• 各難易度レベルで100エピソードの統計的サンプリングを用いて性能を評価し、成功確率、衝突率、平均追従誤差を測定した。

実験結果

リサーチクエスチョン

• RQ1 DRLエージェントは、環境の事前知識がなくても、自律水中航行機器（AUV）における3次元経路追従と衝突回避を効果的にバランスできるか？
• RQ2 報酬関数におけるトレードオフパラメータ λr は、エージェントの行動が経路追従性と衝突回避の間でどのように影響を及ぼすか？
• RQ3 エージェントは、デッドエンドや積み重ねられた障害物といった極端な障害物構成に対して、どの程度一般化できるか？
• RQ4 持続的な海洋流の擾乱下でも、DRLコントローラーは高い経路追従精度を維持できるか？
• RQ5 DRLエージェントは、複雑で動的な水中環境において人間並みの意思決定を達成できるか？

主な発見

• 海洋流の擾乱が存在する中でも、DRLエージェントは平均追従誤差が1m未塔であることを示し、高い経路追従精度を確認した。
• λr = 0.5 にチューニングしたコントローラーは、複雑な障害物環境下でも効果的な衝突回避を示し、最適経路からの最小限の逸脱を達成した。
• エキスパートレベルのエージェント（λr = 0.1）は、400件のテストサンプルにおいて99.25％の衝突なし率を達成し、衝突は最高難易度レベルでのみ発生した。
• 20mの半球形障害物を有するデッドエンドテストでは、すべてのエージェントが許容半径内に目的地に到達し、強力な障害物走破能力を示した。
• エージェントは横方向制御フィンの使用を慎重に制御し、不要な駆動を回避するとともにロールを最小限に抑えるよう学習しており、報酬関数の意図通りの行動を示した。
• 結果から、PPOを用いたDRLが、複雑な3次元環境下で競合する目的をバランスさせながら人間並みの意思決定を達成できることを確認した。