[論文レビュー] Learning to Sequence Robot Behaviors for Visual Navigation

Hadi Salman, Puneet K. Singhal+7 more|arXiv (Cornell University)|Mar 5, 2018

Reinforcement Learning in Robotics参考文献 19被引用数 7

ひとこと要約

本論文では、視覚的入力のみを用いて低レベルのロボット行動を学習・順序付けする階層的強化学習フレームワークを提案する。環境固有の低レベルポリシーの間で動的に選択を行うメタポリシーを訓練することで、個々のポリシーまたは手作業で設計された順序付けに比べ、複合環境において著しく高い成功確率と累積報酬を達成する。

ABSTRACT

Recent literature in the robotics community has focused on learning robot behaviors that abstract out lower-level details of robot control. To fully leverage the efficacy of such behaviors, it is necessary to select and sequence them to achieve a given task. In this paper, we present an approach to both learn and sequence robot behaviors, applied to the problem of visual navigation of mobile robots. We construct a layered representation of control policies composed of low- level behaviors and a meta-level policy. The low-level behaviors enable the robot to locomote in a particular environment while avoiding obstacles, and the meta-level policy actively selects the low-level behavior most appropriate for the current situation based purely on visual feedback. We demonstrate the effectiveness of our method on three simulated robot navigation tasks: a legged hexapod robot which must successfully traverse varying terrain, a wheeled robot which must navigate a maze-like course while avoiding obstacles, and finally a wheeled robot navigating in the presence of dynamic obstacles. We show that by learning control policies in a layered manner, we gain the ability to successfully traverse new compound environments composed of distinct sub-environments, and outperform both the low-level behaviors in their respective sub-environments, as well as a hand-crafted selection of low-level policies on these compound environments.

研究の動機と目的

• 視覚フィードバックに基づく学習済み行動の順序付けにより、モバイルロボットが複雑な複合環境を自律的にナビゲートできるようにすること。
• 動的または多様な環境において、手作業で設計された行動選択や固定された低レベルポリシーの限界を克服すること。
• 生の視覚観測のみを用いて、多様なサブ環境に一般化可能なメタポリシーを開発すること。
• 行動の順序付けを学習することで、個々の低レベルポリシーおよび決定論的な手作業によるポリシー選択に比べ、性能が向上することを実証すること。

提案手法

• フレームワークは二段階の階層構造を採用する。低レベルポリシーは、生の単眼カメラ入力を用いて深層Q学習により訓練され、特定の環境での移動および障害物回避を実行する。
• メタレベルポリシーは、現在の視覚観測に基づいて最も適切な低レベルポリシーを選択するように、深層Q学習を用いて訓練される。
• 低レベルポリシーは、テクスチャのある壁、粗い地形、迷路のようなパスなど、それぞれ特徴的な視覚的・構造的特性を持つ異なるサブ環境に特化している。
• メタポリシーは、複数のサブ環境を組み合わせた複合環境で訓練され、一般化と適応的スイッチングを促進する。
• 時間的抽象化を用いたマーカフ連鎖過程（MDP）の定式化により、行動順序付けを階層的意思決定プロセスとしてモデル化する。
• 訓練はGazeboを用いたシミュレーションで実施され、静的および動的障害物環境での評価により、耐障害性をテストする。

実験結果

リサーチクエスチョン

• RQ1 生の視覚入力のみで訓練されたメタポリシーは、個々のポリシーに比べ、複合環境におけるナビゲーションの成功確率を著しく向上させることができるか？
• RQ2 事前に定義されたルールに基づいて行動を選択する決定論的ハンドクラフトポリシーと比較して、学習されたメタポリシーの性能はどの程度優れているか？
• RQ3 混合視覚入力で訓練された場合、メタポリシーは多様なサブ環境にどの程度一般化できるか？
• RQ4 行動の順序付けを学習することで、個々の低レベルポリシーのみを使用する場合と比較して、累積報酬およびタスク成功確率が向上するか？

主な発見

• 学習されたメタポリシーは、複合環境において10エピソード平均で累積報酬988.5を達成し、ハンドクラフトポリシー（669.3）および低レベルポリシー（408.9）を著しく上回った。
• メタポリシーは複合環境全体のパスを80％の成功率で通過したが、個々の低レベルポリシーは複合環境設定で完全に失敗（0％の成功率）した。
• メタポリシーは視覚フィードバックに基づいて、直進用のπ₁と曲がり用のπ₂の間で適応的に切り替え、耐障害性の高いナビゲーションを実現した。
• 低レベルポリシーが個別に使用された場合、それらの訓練環境でさえも衝突が発生したが、メタポリシーの行動の入れ替え機能により、こうした衝突を回避できた。
• 低レベルポリシーがそれぞれの本来の環境で達成する性能およびハンドクラフトポリシーの性能を上回り、学習された順序付けの利点を示した。
• 異なるサブ環境から構成される新しい複合環境に対しても、メタポリシーは効果的に一般化し、環境構成の変化に対しても耐障害性を示した。