[論文レビュー] Learning Navigation Subroutines from Egocentric Videos

Ashish Kumar, Saurabh Gupta+1 more|arXiv (Cornell University)|May 29, 2019

Robotic Path Planning Algorithms参考文献 47被引用数 10

ひとこと要約

本論文は、最小限の相互作用データを用いた逆動力学モデルを用いて、エゴセントリック動画から自己教師付きで視覚運動の部分的行動を学習し、その行動をクラスタリングして離散的な部分行動に分離する手法を提案する。このアプローチにより、ナビゲーションのためのサンプル効率の高い階層的強化学習が可能となり、ベースラインと比較して最大4倍速い学習が達成され、200倍多いデータで学習された手法を上回る性能を発揮する。

ABSTRACT

Planning at a higher level of abstraction instead of low level torques improves the sample efficiency in reinforcement learning, and computational efficiency in classical planning. We propose a method to learn such hierarchical abstractions, or subroutines from egocentric video data of experts performing tasks. We learn a self-supervised inverse model on small amounts of random interaction data to pseudo-label the expert egocentric videos with agent actions. Visuomotor subroutines are acquired from these pseudo-labeled videos by learning a latent intent-conditioned policy that predicts the inferred pseudo-actions from the corresponding image observations. We demonstrate our proposed approach in context of navigation, and show that we can successfully learn consistent and diverse visuomotor subroutines from passive egocentric videos. We demonstrate the utility of our acquired visuomotor subroutines by using them as is for exploration, and as sub-policies in a hierarchical RL framework for reaching point goals and semantic goals. We also demonstrate behavior of our subroutines in the real world, by deploying them on a real robotic platform. Project website: https://ashishkumar1993.github.io/subroutines/.

研究の動機と目的

• 専門家の行動アノテーションなしに、受動的なエゴセントリック動画から再利用可能で一貫性のある視覚運動部分行動を学習すること。
• 動画から学習した部分行動を初期化として用いることで、ナビゲーションのための階層的強化学習におけるサンプル効率を向上させること。
• 構造のないエゴセントリック動画データから得た疑似ラベル付き部分行動のみを用いて、ゼロショット探索および下流タスク学習を可能にすること。
• 学習した部分行動を実世界のロボットプラットフォームに実際にデプロイすること。

提案手法

• 少量のランダム相互作用データ上で自己教師付きの逆モデルを学習し、画像遷移から行動を予測する。
• 逆モデルを用いて、専門家のエゴセントリック動画内の画像ペアに対して、それらを説明する行動を推定することで、行動を疑似ラベルづける。
• 専門家の軌道を固定長の部分軌道に分割し、候補となる部分行動を定義する。
• 画像観測から離散的な潜在コードを予測する潜在意図条件付き方策を学習し、疑似ラベル付き行動を予測する。
• ある画像観測からどの部分行動が適用可能かを予測するアフォーダンスモデルを学習する。
• ポイントゴールおよびエリアゴールナビゲーションタスクにおける階層的強化学習フレームワークで、部分行動およびアフォーダンスモデルを微調整する。

実験結果

リサーチクエスチョン

• RQ1 明示的な行動アノテーションなしに、構造のないエゴセントリック動画から視覚運動部分行動を効果的に抽出できるか？
• RQ2 受動的な動画データから学習した部分行動は、新しい環境におけるゼロショット探索をどの程度効果的に可能にするか？
• RQ3 これらの部分行動は、ナビゲーションタスクにおける階層的強化学習のサンプル効率をどの程度向上させるか？
• RQ4 学習した部分行動は実世界のロボットデプロイに一般化可能か？

主な発見

• 提案手法は、ポイントゴールおよびエリアゴールナビゲーションタスクにおいて、ランダム初期化およびImageNet初期化のベースラインと比較して、最大4倍速い学習を達成した。
• 1000万サンプル（10M）の相互作用データで学習された最先端のスキル学習手法（DIAYNやCuriosity）でさえ、4.5万サンプル（45K）のデータで学習された本手法を上回った。
• アフォーダンスモデルのおかげで、部分行動の選択が効果的に行われ、新規環境における探索成功確率が複数のベースライン（学習あり・なし）と比較して50%高い水準に達した。
• 動画データから学習した部分行動は、実際のロボットプラットフォームに成功裏にデプロイされ、実世界での一般化を示した。
• スパarsely報酬設定でも優れた性能を発揮し、報酬が疎である場合に特に大きな恩恵を受けたことから、疎な教師信号に対して頑健であることが示された。
• 本手法は、CuriosityやDIAYNで初期化されたモノリシックおよび階層的方策よりも優れており、一部の設定ではそれらが自明な方策に収束するのを防げた。