[論文レビュー] No RL, No Simulation: Learning to Navigate without Navigating

Meera Hahn, Devendra Singh Chaplot+4 more|arXiv (Cornell University)|Oct 18, 2021

Reinforcement Learning in Robotics参考文献 40被引用数 7

ひとこと要約

本稿では、強化学習（RL）やシミュレータを用いずに、受動的エゴセントリック動画から学習する自己教師ありナビゲーション手法NRNSを提案する。SLAMによって得られるポーズを用いてRGBD動画上で地図的構造を推定し、地図上の最短経路距離推定器とターゲット予測モデルを学習することで、RLベースの手法を上回る性能を達成した。実世界の動画データでの学習でも、ベースラインを大きく上回り、優れた性能を示した。

ABSTRACT

Most prior methods for learning navigation policies require access to simulation environments, as they need online policy interaction and rely on ground-truth maps for rewards. However, building simulators is expensive (requires manual effort for each and every scene) and creates challenges in transferring learned policies to robotic platforms in the real-world, due to the sim-to-real domain gap. In this paper, we pose a simple question: Do we really need active interaction, ground-truth maps or even reinforcement-learning (RL) in order to solve the image-goal navigation task? We propose a self-supervised approach to learn to navigate from only passive videos of roaming. Our approach, No RL, No Simulator (NRNS), is simple and scalable, yet highly effective. NRNS outperforms RL-based formulations by a significant margin. We present NRNS as a strong baseline for any future image-based navigation tasks that use RL or Simulation.

研究の動機と目的

• 強化学習（RL）とシミュレータが、画像ゴールナビゲーションにおいて必須であるかどうかを調査すること。
• 合成シミュレータで学習することによって生じるシミュレーションから現実へのドメインギャップを解消すること。
• 受動的動画データのみから学習するスケーラブルで自己教師ありのナビゲーション手法を開発すること。
• 学習した距離推定に基づく単純なグリーディポリシーが、複雑なRLポリシーを上回ることを示すこと。
• 実世界の受動的動画データを用いてアプローチを検証し、シミュレーションから現実への移行が可能であることを示すこと。

提案手法

• 現在の状態特徴量とゴール画像を入力とし、レイアウトグラフ上の未探索フロントラインへの最短経路距離（地図的距離）を予測する地図的距離推定器を訓練する。
• 受動的RGBD動画からSLAMを用いて相対カメラポーズを推定し、アクティブな相互作用なしにシーン構造をモデル化可能にする。
• 画像特徴量とゴール特徴量を用いて、ゴール画像が現在地から視認可能かつ到達可能かどうかを予測するターゲット予測モデルを訓練する。
• 予測された地図的距離を最小化するように次なる行動を選択するグリーディポリシーを適用する。
• 学習中にオンラインインタラクションや真値マップ、報酬形状の調整を一切使用せず、受動的動画データのみに依存する。
• 深度マップを用いて無効な行動を除外し、局所的障害物回避を可能にし、衝突報酬信号の必要性を回避する。

実験結果

リサーチクエスチョン

• RQ1 強化学習やシミュレータ環境なしで、ナビゲーションを効果的に学習できるか？
• RQ2 受動的動画トラジェクトリのみを用いた自己教師ありアプローチが、エンドツーエンドRL手法を上回るか？
• RQ3 受動的データで学習した距離推定器が、実世界のナビゲーションタスクにどの程度一般化できるか？
• RQ4 学習した距離推定に基づくグリーディポリシーが、データ効率性と現実世界への転送性においてRLポリシーを上回るか？
• RQ5 整理されていない実世界の動画（例：不動産ツアー動画）で学習しても、依然として優れた性能を発揮できるか？

主な発見

• NRNSは、5倍のデータ量と10倍の計算資源を用いて学習したRL手法に対しても、顕著な性能差を示した。
• Gibsonデータセットでは、『簡単な直線パス』で68.00％の成功率と61.62％のSPLを達成し、行動クラーニングベースライン（30.20％の成功率）を大きく上回り、一部の設定ではRLベースラインと同等またはそれを上回った。
• RealEstate10Kの実世界動画で学習した場合、『簡単な直線パス』で56.42％の成功率と48.01％のSPLを達成し、実データへのゼロショット転送性が顕著に示された。
• アブレーションスタディの結果、地図的距離推定器（G_D）が性能に最も大きな影響を与え、特に『難しい』や『曲がりくねった』パスのような複雑なパス設定で顕著であった。
• GibsonからRealEstate10Kに移行した場合、性能は低下するが、依然として競争力を持つことから、ドメインシフトは存在するが、優れた一般化能力を示した。
• Gibsonで学習した場合、『曲がりくねった難しいパス』で35.50％の成功率と18.38％のSPLを達成し、BCベースライン（3.10％の成功率）を大きく上回り、パスの複雑さに対しても頑健であることが示された。