[論文レビュー] Learning with Stochastic Guidance for Navigation

Linhai Xie, Yishu Miao+6 more|arXiv (Cornell University)|Nov 27, 2018

Reinforcement Learning in Robotics参考文献 8被引用数 4

ひとこと要約

本論文では、深層強化学習エージェントが訓練中に、高分散の探索（DDPGを介して）と低分散のヒューリスティック制御（例：PID、障害物回避）の間で動的に切り替えることを可能にする確率的ガイドフレームワークを提案する。REINFORCEを用いてDDPGと確率的スイッチを同時に訓練することで、訓練の分散を著しく低減し、ポリシー学習を加速し、最先端のベースラインと比較して優れたナビゲーション性能を達成する。また、シミュレーション環境で学習したポリシーが、微調整なしに実世界環境へゼロショット転送に成功する。

ABSTRACT

Due to the sparse rewards and high degree of environment variation, reinforcement learning approaches such as Deep Deterministic Policy Gradient (DDPG) are plagued by issues of high variance when applied in complex real world environments. We present a new framework for overcoming these issues by incorporating a stochastic switch, allowing an agent to choose between high and low variance policies. The stochastic switch can be jointly trained with the original DDPG in the same framework. In this paper, we demonstrate the power of the framework in a navigation task, where the robot can dynamically choose to learn through exploration, or to use the output of a heuristic controller as guidance. Instead of starting from completely random moves, the navigation capability of a robot can be quickly bootstrapped by several simple independent controllers. The experimental results show that with the aid of stochastic guidance we are able to effectively and efficiently train DDPG navigation policies and achieve significantly better performance than state-of-the-art baselines models.

研究の動機と目的

• スパarsityな報酬を持つ複雑で高次元のナビゲーション環境において、DDPGの高い分散と低いサンプル効率を解消すること。
• 低分散のヒューリスティック制御（例：PID）を動的ガイドとして統合することで、DDPGポリシーの訓練をより高速かつ安定化すること。
• ヒューリスティックガイドによって初期化された後、DDPGポリシーが最終的に独立して動作できるようにすること。
• シミュレーションで学習したポリシーを、微調整なしに実世界のロボットナビゲーションタスクへゼロショット転送可能にすること。

提案手法

• 確率的スイッチメカニズムを導入し、DDPGポリシーまたは独立したヒューリスティック制御（PIDおよび障害物回避）の行動を確率的に選択する。
• スイッチは、累積報酬を最大化するためにREINFORCEポリシー勾配アルゴリズムで訓練され、文脈に応じたコントローラー選択を可能にする。
• DDPGエージェントは、自らのポリシー出力からではなく、確率的スイッチが選択した行動から学習するため、初期訓練段階での勾配分散が低減される。
• フレームワークは、深度カメラの観測を処理し、状態入力のための幾何的表現を生成する3層の畳み込みニューラルネットワークを用いる。
• スイッチ関数は、センサー入力を条件とするニューラルネットワークとして実装され、環境の文脈に応じた適応的コントローラー選択を可能にする。
• DDPGポリシーが十分な性能に達すると、ヒューリスティックコントローラーの段階的無効化が可能になり、自律動作が可能になる。

実験結果

リサーチクエスチョン

• RQ1 確率的スイッチメカニズムは、複雑なナビゲーションタスクにおけるDDPGのサンプル効率と訓練安定性を向上させることができるか？
• RQ2 探索とヒューリスティックガイドの間で動的スイッチングを行うことで、ベースラインDDPGと比較して最終的なナビゲーション性能にどのような影響を与えるか？
• RQ3 ヒューリスティックガイドを用いて学習したDDPGポリシーが、微調整なしに実世界環境へ一般化できる程度はどの程度か？
• RQ4 訓練後、DDPGポリシーを独立してテスト可能であるか。これは、ガイドの内部化に成功しているかどうかを示唆する。
• RQ5 ヒューリスティックコントローラーの選択が、最終的なパフォーマンスおよび一般化性能にどのように影響を与えるか？

主な発見

• 提案フレームワークは、最先端のDDPGベースラインと比較して、著しく優れたナビゲーション性能を達成し、収束が速く、訓練分散も低い。
• モデルは、Turtlebotと深度カメラを搭載した実世界環境へ、再トレーニングなしに成功して転送され、複数のゴールを経由する衝突のないナビゲーションを達成した。
• 訓練後、DDPGポリシーは独立してテスト可能であり、外部コントローラーに依存せずにナビゲーションを実行できることが示された。
• フレームワークは強力な一般化性能を示し、複数の独立したコントローラー（例：PIDおよびOA）の統合により性能が向上し、統合されるヒューリスティックが増えるほど性能が向上した。
• DDPGポリシーが十分に能力を発揮すると、ヒューリスティックコントローラーへの依存を自動的に低減できるため、ガイドの有効な内部化が示された。
• アブレーションスタディにより、確率的スイッチは一様なランダムスイッチやargmaxスイッチを上回ることが確認され、学習されたスイッチポリシーの有効性が裏付けられた。