[論文レビュー] Translating Navigation Instructions in Natural Language to a High-Level Plan for Behavioral Robot Navigation

Xiaoxue Zang, Ashwini Pokle+5 more|arXiv (Cornell University)|Sep 24, 2018

Multimodal Machine Learning Applications参考文献 28被引用数 5

ひとこと要約

本論文では、環境のトポロジカルマップと照合するためのアテンション機構を用いて、自由形式の自然言語ナビゲーション指示をハイレベルな行動ナビゲーション計画に変換するエンドツーエンドのディープラーニングモデルを提案する。新しい11,051組の指示-計画ペアからなるデータセット上で、ベースラインを上回る性能を示しており、トポロジカルマップが自然言語ナビゲーション命令の意味的根拠として有効であることを示している。

ABSTRACT

We propose an end-to-end deep learning model for translating free-form natural language instructions to a high-level plan for behavioral robot navigation. We use attention models to connect information from both the user instructions and a topological representation of the environment. We evaluate our model's performance on a new dataset containing 10,050 pairs of navigation instructions. Our model significantly outperforms baseline approaches. Furthermore, our results suggest that it is possible to leverage the environment map as a relevant knowledge base to facilitate the translation of free-form navigational instruction.

研究の動機と目的

• ロボットが複雑な環境において自由形式の自然言語ナビゲーション指示を解釈できるようにすること。
• 人間のルート記述に見られる高いばらつきと曖昧さの課題に対処すること。
• 環境のトポロジカル構造を用いて、自然言語を実行可能なハイレベルなナビゲーション計画にマッピングするエンドツーエンドモデルを開発すること。
• モデルが新しい指示や未確認の環境に一般化できる能力を評価すること。
• 行動的ロボットナビゲーションのための、11,051組の指示-計画ペアからなる新しい大規模データセットを提供すること。

提案手法

• モデルは自己アテンション機構を備えたエンコーダ-デコーダアーキテクチャを用い、入力の自然言語指示と行動ナビゲーショングラフを一致させる。
• 行動ナビゲーショングラフは、ノード（意味的場所）とエッジ（視覚的・運動的行動）のペアとして表現される。
• デコーダは各ステップで指示の埋め込みに従って関連するグラフ部分に注目しながら、ナビゲーション行動の系列を生成する。
• 正解の行動系列を予測するために、クロスエントロピー損失を用いてエンドツーエンドで訓練する。
• 予測過程におけるモデルの注目ポイントが、どの環境的セグメントに集中しているかを可視化する。
• 100のシミュレートされた環境と対応するトポロジカルマップを用いて、Mechanical Turkを介して11,051組の新しい指示-計画ペアのデータセットを収集した。

実験結果

リサーチクエスチョン

• RQ1 トポロジカルマップを知識ベースとして用いることで、エンドツーエンドのニューラルモデルが自然言語ナビゲーション指示をハイレベルな行動計画に的確に根拠づけることができるか？
• RQ2 モデルは、既知の環境における新しい指示や、まったく新しい環境に対してどれほど一般化できるか？
• RQ3 アテンション機構が、計画予測の過程で関連する環境的セグメントに注目するのをどの程度助けているか？
• RQ4 モデルは最短経路ではないルートを正しく予測できるか？これは、単に最短経路を記憶しているのではなく、指示の意味論に従っている証拠である。
• RQ5 本手法は、トポロジカルマップを用いないベースライン手法と比較して、どの程度優れているか？

主な発見

• 提案手法は、2段階ベースライン手法およびグラフアテンションを備えない序列変換モデルよりも、新しいデータセット上で優れた性能を示した。
• 自然言語指示からハイレベルなナビゲーション計画に変換する分野で、最先端の性能を達成した。
• アテンションの可視化により、モデルが動的に関連する環境の三重項に注目しており、ナビゲーションステップに対応する局所的な注目パターンを示していることがわかった。
• モデルは最適でない経路（サブオプティマルルート）を正しく予測できており、単に最短経路を記憶しているのではなく、指示の意味論に従って動作していることが確認された。
• モデルは、既知の環境における新しい指示に対して効果的に一般化できており、自然言語の表現のばらつきに対しても頑健であることが示された。
• 11,051組の指示-計画ペアを含む新しいデータセットの貢献により、今後のデータ駆動型ナビゲーションの根拠づけに関する研究が可能になった。