[論文レビュー] Learning Models for Following Natural Language Directions in Unknown Environments

Sachithra Hemachandra, Felix Duvallet+4 more|arXiv (Cornell University)|Mar 17, 2015

Multimodal Machine Learning Applications参考文献 18被引用数 16

ひとこと要約

本論文では、未知の環境において自然言語によるナビゲーション命令に従うロボットを可能にする新規フレームワークを提案する。言語入力から空間的・意味的ワールドモデルの確率分布を学習することで、模倣学習で訓練された信念空間プランナを用いて、事前の地図がなくても、ランドマーク（例：『廊下を進んだ先のキッチン』）の可能性のある位置を推論し、効率的にナビゲーションする。実世界およびシミュレートされたオフィス環境において、既知の地図ベースラインに近い性能を達成した。

ABSTRACT

Natural language offers an intuitive and flexible means for humans to communicate with the robots that we will increasingly work alongside in our homes and workplaces. Recent advancements have given rise to robots that are able to interpret natural language manipulation and navigation commands, but these methods require a prior map of the robot's environment. In this paper, we propose a novel learning framework that enables robots to successfully follow natural language route directions without any previous knowledge of the environment. The algorithm utilizes spatial and semantic information that the human conveys through the command to learn a distribution over the metric and semantic properties of spatially extended environments. Our method uses this distribution in place of the latent world model and interprets the natural language instruction as a distribution over the intended behavior. A novel belief space planner reasons directly over the map and behavior distributions to solve for a policy using imitation learning. We evaluate our framework on a voice-commandable wheelchair. The results demonstrate that by learning and performing inference over a latent environment model, the algorithm is able to successfully follow natural language route directions within novel, extended environments.

研究の動機と目的

• 事前の地図や環境知識が一切ない状況において、ロボットが自然言語によるルート誘導に従えるようにすること。
• 重要なランドマークが見えない状況において、自由形式の言語命令に含まれる空間的および意味的関係を解釈する課題に対処すること。
• 言語から可能なワールドモデルと行動の分布を学習するシステムを開発し、複雑で未知の空間における効率的なナビゲーションを可能にすること。
• 事前にマップされた環境を必要とする従来の手法や、観測されていない空間的関係を推論できない手法の改善に寄与すること。

提案手法

• 階層的確率的グラフィカルモデルが、自然言語命令を空間的・意味的アノテーション（例：『キッチン』、『廊下を進んだ先』）にマッピングする。
• 推定理論的アルゴリズムが、言語由来のアノテーションとセンサデータを統合し、仮説上のワールドモデルの分布を構築する。言語をセンサ入力と同等の観測として扱う。
• 模倣学習を用いて人間のデモンストレーション上で訓練された信念空間ポリシーが、可能なマップの分布を考慮して最適なナビゲーション行動を選択する。
• システムは時間経過とともに意味的マップを段階的に精緻化し、新しいセンサデータが到着するたびに信念を更新し、言語的空間関係と整合させる。
• プランナは信念空間定式化を用いて、環境モデルと意図された行動の両方の不確実性を考慮し、堅牢なポリシー実行を可能にする。
• フレームワークは、空間的関係（例：『ウォーターフォンテンの後で』）を含むマルチステップ命令をサポートし、実行中にマップ仮説を動的に更新する。

実験結果

リサーチクエスチョン

• RQ1 事前の地図知識がなく、未知の環境においてロボットが自然言語ナビゲーション命令に従えるか。
• RQ2 言語から得られる空間的および意味的情報をどのようにして、可能なワールドモデルの分布に変換できるか。
• RQ3 確率的環境モデルの分布を考慮して推論することで、決定論的または地図に依存しないアプローチと比較して、ナビゲーション性能がどの程度向上するか。
• RQ4 人間のデモンストレーションに基づいて訓練された信念空間ポリシーは、曖昧または部分的な言語的手がかりを伴う未確認の複雑な環境に一般化可能か。
• RQ5 言語とセンサデータの統合は、実世界のナビゲーションタスクにおける経路効率性と正確性にどのように影響するか。

主な発見

• 提案されたフレームワークは、物理的およびシミュレートされた実験の両方で、既知の地図ベースラインの10％以内の経路長を達成し、事前の地図知識がなくても高いナビゲーション効率を示した。
• 言語に依存しないベースラインと比較して、実世界の実験では平均経路長を50％短縮し、実行時間を40％削減した。
• 信念空間推論により、27件のホールドアウトされた誘導に対して交差検証を実施した結果、非信念空間バージョンと比較して平均終点距離誤差が30％削減された。
• 10回のシミュレーション実行では、平均経路長が5.54m（既知の地図ケースの2.86m対比）であり、平均実行時間は12.93秒であった。不確実性下でも優れた性能を示した。
• すべての6件の実世界実験と10件のシミュレーション実行が正常に完了し、全試行で目的位置に正しく到達した。
• Tukeyの箱ひげ図分析により、200件の交差検証試行において信念空間推論が一貫して局所化精度を向上させ、誤差の分散を低減し、耐障害性を向上させたことが確認された。