[論文レビュー] FollowNet: Robot Navigation by Following Natural Language Directions with Deep Reinforcement Learning

Pararth Shah, Marek Fišer+3 more|arXiv (Cornell University)|May 16, 2018

Multimodal Machine Learning Applications参考文献 7被引用数 43

ひとこと要約

FollowNet は多モーダル入力と Deep Q-Network 内の言語アテンション機構を用いて自然言語命令からエンドツーエンドのナビゲーションを学習し、見たことのない指示に従う。アテンションなしのベースラインより成功率が向上し、新しい命令や開始位置にも一般化する。

ABSTRACT

Understanding and following directions provided by humans can enable robots to navigate effectively in unknown situations. We present FollowNet, an end-to-end differentiable neural architecture for learning multi-modal navigation policies. FollowNet maps natural language instructions as well as visual and depth inputs to locomotion primitives. FollowNet processes instructions using an attention mechanism conditioned on its visual and depth input to focus on the relevant parts of the command while performing the navigation task. Deep reinforcement learning (RL) a sparse reward learns simultaneously the state representation, the attention function, and control policies. We evaluate our agent on a dataset of complex natural language directions that guide the agent through a rich and realistic dataset of simulated homes. We show that the FollowNet agent learns to execute previously unseen instructions described with a similar vocabulary, and successfully navigates along paths not encountered during training. The agent shows 30% improvement over a baseline model without the attention mechanism, with 52% success rate at novel instructions.

研究の動機と目的

• 人間が提供する自然言語の指示に従って未知の環境をナビゲートするようロボットを動機づける。
• 言語と視覚入力をナビゲーション動作へ写像するエンドツーエンドの差分可能なアーキテクチャを開発する。
• 感覚入力に条件付けられたアテンション機構を組み込み、指示の関連部分に動的に焦点を当てる。
• 現実的な家仕様環境で見たことのない指示と開始位置の変化への一般化を評価する。

提案手法

• 観測に自然言語、視覚、深度入力を含む POMDP としてナビゲーションを定式化する。
• マルチモーダル埋め込みから行動価値関数を学習するために Deep Q-Network を用いる。
• 視覚入力を意味的セグメンテーションと深度マップを介して畳み込みネットワークに入力し、v_S および v_D 埋め込みを生成する。
• 指示を双方向 GRU でエンコードし、視覚と言語の文脈を条件として適用されるフィードフォワードのアテンション層を用いて v_L を得る。
• 最終的なフィードフォワードネットワークを用いて [v_S, v_D, v_L] を結合し Q(o) を推定する。ε-greedy 探索とベルマン誤差最小化で訓練する。

実験結果

リサーチクエスチョン

• RQ1 FollowNet は疎報酬を用いて自然言語ナビゲーション指示を実行することを学べるか？
• RQ2 指示に対するアテンション機構は、アテンションなしのベースラインと比較して性能を向上させるか？
• RQ3 モデルは新規の2ステップ指示や異なる開始位置に対してどの程度一般化するか？
• RQ4 訓練と評価で共通語彙を使用する場合、指示の複雑さ（ステップ数）の増加にモデルはどのくらいスケールするか？
• RQ5 アテンションは、ナビゲーション中にエージェントが依存する指示語についてどんな洞察を提供するか？

主な発見

• FollowNet は 52% fully successful and 61% partially successful episodes on a hold-out set of novel instructions, a 30% improvement over the baseline without attention.
• On evaluation with new start positions, the agent completes 70% of directions partially and 54% fully.
• Overall instruction-following success on the evaluation dataset is 52%, compared to 40% for the non-attentive baseline (30% relative improvement).
• Attention heatmaps show the model shifting focus to relevant instruction words (e.g., left, hallway) as the agent progresses, indicating context-dependent grounding of language.
• The agent trained on more complex, multi-step instructions still achieves substantial performance on two-step evaluation tasks, with partial progress in many cases and full success less frequent for four- or five-step instructions.