[論文レビュー] Sim-to-Real Transfer for Vision-and-Language Navigation

Peter Anderson, Ayush Shrivastava+5 more|arXiv (Cornell University)|Nov 7, 2020

Multimodal Machine Learning Applications参考文献 47被引用数 21

ひとこと要約

本論文は、シミュレーションで訓練されたビジョンアンドランゲージナビゲーション（VLN）エージェントを物理的ロボットにシミュレーションから実世界への転送する初の試みを報告している。サブゴールモデルを用いて離散的なシミュレーション行動と連続的なロボット制御を橋渡ししている。事前に収集された地図とグラフを用いると、ロボットは46.8%の成功を達成し、シミュレーションより僅か9.1%低い水準にとどまる。これは転送の可能性を示しているが、『地図なし』のコールドスタート設定では、サブゴール予測誤差のため、性能は22.5%に低下する。

ABSTRACT

We study the challenging problem of releasing a robot in a previously unseen environment, and having it follow unconstrained natural language navigation instructions. Recent work on the task of Vision-and-Language Navigation (VLN) has achieved significant progress in simulation. To assess the implications of this work for robotics, we transfer a VLN agent trained in simulation to a physical robot. To bridge the gap between the high-level discrete action space learned by the VLN agent, and the robot's low-level continuous action space, we propose a subgoal model to identify nearby waypoints, and use domain randomization to mitigate visual domain differences. For accurate sim and real comparisons in parallel environments, we annotate a 325m2 office space with 1.3km of navigation instructions, and create a digitized replica in simulation. We find that sim-to-real transfer to an environment not seen in training is successful if an occupancy map and navigation graph can be collected and annotated in advance (success rate of 46.8% vs. 55.9% in sim), but much more challenging in the hardest setting with no prior mapping at all (success rate of 22.5%).

研究の動機と目的

• シミュレーションで訓練されたVLNエージェントが、自然言語指示に従って実世界の環境を成功裏にナビゲートできるかどうかを評価すること。
• シミュレーションにおける離散的アクション空間と実世界における連続的制御との間の差異が引き起こすシミュレーションから実世界へのギャップを是正すること。
• 古典的なナビゲーションスタックを用いて、低コストの物理的ロボットに学習済みVLNエージェントを実装する可能性を調査すること。
• 占有地図およびナビゲーショングラフといった事前環境マッピングの有無が、シミュレーションから実世界への転送性能に与える影響を評価すること。
• 特に事前環境知識のない状況におけるコールドスタート設定での主な失敗モードを同定すること。

提案手法

• 360°RGB画像とレーザースキャンから、近隣の到達可能なウェイポイントを予測するサブゴールモデルを訓練し、高レベルのVLNアクションを低レベルのロボット制御に変換可能にする。
• VLNエージェントおよびサブゴールモデルの両方の訓練時にドメインランダマイゼーションを適用し、シミュレーションと実環境の間の視覚的ドメインシフトを低減する。
• ROSベースの古典的ナビゲーションスタックを用い、SLAM、障害物回避、経路計画を統合することで、実世界におけるロボット運用を可能にする。
• 実世界の325m²のオフィス環境（Coda）をMatterportカメラでスキャンし、Matterport3Dシミュレータにデジタル化して、並列的なシミュレーションから実世界への評価を実施する。
• 111件の自然言語ナビゲーション指示をAmazon Mechanical Turkを用いて収集し、実環境およびシミュレート環境の両方で言語-軌道ペアデータセットを構築する。
• 2つの評価設定を用いる：『地図あり』（事前に収集された占有地図およびナビゲーショングラフを用いる）と『地図なし』（各エピソードでスクラッチからSLAMを実行する）

実験結果

リサーチクエスチョン

• RQ1 事前にスキャンされていない実世界環境において、シミュレーションで訓練されたVLNエージェントが、制限のない自然言語指示に従ってナビゲートできるか？
• RQ2 事前に収集された環境地図の有無が、シミュレーションから実世界への転送性能に与える影響は何か？
• RQ3 事前マッピングが存在しない状況での主な失敗モードは何か？
• RQ4 視覚的ドメインの違いや視点の不一致が、実世界でのデプロイにおける性能低下にどの程度寄与しているか？
• RQ5 サブゴールモデルは、離散的シミュレーションアクションと連続的ロボット制御の間のアクションスペースギャップを効果的に埋め合わせることができるか？

主な発見

• 事前に収集された占有地図およびナビゲーショングラフを用いると、ロボットは自然言語指示に従う成功率が46.8%に達し、シミュレーションの55.9%より9.1%低い。
• 9.1%の性能低下は、視覚的ドメインの違いが3.9%、視点の不一致が5.2%に起因していると特定された。
• 『地図なし』のコールドスタート設定では、ロボットがスクラッチからSLAMを実行し、事前環境知識を持たない状況で、成功率は22.5%に低下する。
• 『地図なし』設定での主な失敗原因はサブゴールモデルの予測誤差であり、誤検出（例：らせん階段を下る）と誤検出漏れ（例：家具の間の狭い通路を無視）が含まれる。
• 『地図なし』設定では、実環境とシミュレート環境の間の軌道類似度が最も低く、NDTWスコアは0.33にとどまり、ナビゲーションパスの著しい乖離を示している。
• 本研究は、サブゴール予測の不正確さとアクションスペースの不一致が原因で、コールドスタート設定におけるシミュレーションから実世界への転送は依然として未解決の研究課題であると結論づけた。