[論文レビュー] Learning to Move with Affordance Maps

William Qi, Ravi Teja Mullapudi+2 more|ArXiv.org|Jan 8, 2020

Robotic Path Planning Algorithms参考文献 42被引用数 8

ひとこと要約

本論文は、自己教師付き相互作用を通じて空間的アフォーダンスマップを学習するハイブリッドアプローチを提案し、モバイルロボットナビゲーションのための従来の幾何的プランナを強化する。ナビゲーション可能な領域（動的障害物や意味的制約を含む）を予測することで、アフォーダンスマップは、データ効率的で一般化可能かつ解釈可能なナビゲーションを可能にし、探索においてはRLの最先端手法を70%、障害物環境下でのナビゲーションにおいては55%上回る性能を発揮する。

ABSTRACT

The ability to autonomously explore and navigate a physical space is a fundamental requirement for virtually any mobile autonomous agent, from household robotic vacuums to autonomous vehicles. Traditional SLAM-based approaches for exploration and navigation largely focus on leveraging scene geometry, but fail to model dynamic objects (such as other agents) or semantic constraints (such as wet floors or doorways). Learning-based RL agents are an attractive alternative because they can incorporate both semantic and geometric information, but are notoriously sample inefficient, difficult to generalize to novel settings, and are difficult to interpret. In this paper, we combine the best of both worlds with a modular approach that learns a spatial representation of a scene that is trained to be effective when coupled with traditional geometric planners. Specifically, we design an agent that learns to predict a spatial affordance map that elucidates what parts of a scene are navigable through active self-supervised experience gathering. In contrast to most simulation environments that assume a static world, we evaluate our approach in the VizDoom simulator, using large-scale randomly-generated maps containing a variety of dynamic actors and hazards. We show that learned affordance maps can be used to augment traditional approaches for both exploration and navigation, providing significant improvements in performance.

研究の動機と目的

• 動的物体や意味的制約（ぬれた床、ドアなど）を無視する従来のSLAMベースのナビゲーションの限界を解消する。
• ナビゲーションにおけるエンドツーエンド強化学習（RL）に内在するデータ非効率性、一般化性能の低さ、解釈不能性を克服する。
• 自己教師付き経験を通じて空間的アフォーダンスマップを学習するモジュラーなフレームワークを構築し、市販の幾何的プランナと連携可能にする。
• 静的幾何的マップでは失敗する複雑で動的な環境（障害物や移動するエージェントを含む）において性能を向上させる。
• アクティブラーニングを用いることで、アフォーダンスマップを効率的に学習し、データ要件を削減するとともに、障害物周辺の境界検出を向上させることを示す。

提案手法

• 動的エージェントや意味的制約による回避領域を含むナビゲーション可能性を符号化する空間的アフォーダンスマップを予測するためのニューラルネットワークを訓練する。
• VizDoomシミュレータ内で自己教師付き相互作用を用い、動的アクターと障害物を有するランダムに生成されたマップをエージェントが探索する経験を収集する。
• 古典的幾何的マップに学習済みアフォーダンスマップを統合し、A*や類似アルゴリズムを用いたパスプランニングに適したハイブリッドコストマップを生成する。
• ラベルエントロピーを最大化するように情報を得やすい探索軌道を選択するアクティブラーニングを適用し、データ効率性と境界検出精度を向上させる。
• 収集した10万件のサンプルを用いてナビゲーションモジュールを訓練し、コストマップを生成することで、限られたデータでも効率的な計画が可能になる。
• 成功確率と損傷度という指標を用いて、幾何的ベースラインとPPOに基づく強化学習エージェントとを比較する。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドRLと比較して、自己教師付き学習によるアフォーダンスマップの学習は、モバイルロボットナビゲーションにおけるデータ効率性と一般化性能を向上させるか？
• RQ2 幾何的マップが失敗する動的かつ危険な環境において、アフォーダンスマップはどの程度性能を向上させるか？
• RQ3 アクティブラーニングは、障害物境界付近において、アフォーダンスマップ学習の効率性と正確性をどの程度向上させるか？
• RQ4 古典的幾何的プランナと効果的に組み合わせることで、アフォーダンスマップは純粋な幾何的アプローチや純粋なRLベースのアプローチを上回る性能を発揮できるか？
• RQ5 多様で未知の環境において、アフォーダンスマップはRLと比較して、解釈可能性と頑健性に優れているか？

主な発見

• VizDoomシミュレータ内での探索タスクにおいて、アフォーダンスマップを補完したナビゲーションは、従来の幾何的手法を60%上回る性能を発揮した。
• 危険な環境下では、RLベースラインが要請するデータの20%のみで学習した場合でも、ナビゲーション成功確率が最大55%向上した。
• アクティブラーニングによりデータ要件が削減された：アクティブに計画された軌道から得た40%のデータで学習したモデルは、ランダムサンプルで学習したモデルを上回った。
• 再計画頻度を10倍に引き上げても、幾何的ベースラインはアフォーダンス補完手法に到達できず、その頑健性が示された。
• PPOベースのRLエージェントはウェイポイントの指導を受けたにもかかわらず、すべてのアフォーダンスベース手法に劣っており、データ効率性と一般化性能に明確な優位性があることが示された。
• アフォーダンスマップは、障害物および危険領域の境界近くでの時間的安定性と予測精度を著しく向上させ、よりタイトで安全なナビゲーションマージンを可能にした。