[論文レビュー] Listen, Attend, and Walk: Neural Mapping of Navigational Instructions to Action Sequences

Hongyuan Mei, Mohit Bansal+1 more|arXiv (Cornell University)|Jun 12, 2015

Topic Modeling参考文献 37被引用数 111

ひとこと要約

本稿では、言語資源やタスク固有のアノテーションに依存せずに、自然言語のナビゲーション指示を実行可能な行動シーケンスにマッピングする、双方向LSTM-RNNを用いたエンドツーエンドのシーケンス・ツー・シーケンスニューラルモデルを提案する。このモデルは、単一文ナビゲーションタスクで最先端の性能を達成し、限られた学習データでもマルチセンテンスタスクで競争力のある結果を示す。

ABSTRACT

We propose a neural sequence-to-sequence model for direction following, a task that is essential to realizing effective autonomous agents. Our alignment-based encoder-decoder model with long short-term memory recurrent neural networks (LSTM-RNN) translates natural language instructions to action sequences based upon a representation of the observable world state. We introduce a multi-level aligner that empowers our model to focus on sentence "regions" salient to the current world state by using multiple abstractions of the input sentence. In contrast to existing methods, our model uses no specialized linguistic resources (e.g., parsers) or task-specific annotations (e.g., seed lexicons). It is therefore generalizable, yet still achieves the best results reported to-date on a benchmark single-sentence dataset and competitive results for the limited-training multi-sentence setting. We analyze our model through a series of ablations that elucidate the contributions of the primary components of our model.

研究の動機と目的

• 未知の環境において自由形式の自然言語指示を実行可能な行動シーケンスにマッピングするエンドツーエンドのニューラルモデルの開発。
• パーサーやシード語彙など特別な言語資源への依存を排除すること。
• 入力表現の複数レベルを活用することで、指示語と対応する行動とのアラインメント精度を向上させること。
• 特に低データ環境下でも、ベンチマークナビゲーションデータセットで強力な性能を達成すること。
• 体系的なアブレーションスタディを通じて、モデルの主要な構成要素の寄与度を分析すること。

提案手法

• 入力ナビゲーション指示の文脈的表現を前向きおよび後向きの両方向で捉えるために、双方向LSTM-RNNエンコーダを用いる。
• 現在の世界状態に基づいて、指示文の顕著な語領域に注目するアテンション機構を備えたデコーダを採用する。
• 高レベルの隠れ状態と元の入力語を組み合わせることで、指示トークンと行動とのアラインメント精度を向上させるマルチレベルアラインヤーを導入する。
• コンテキストベクトルをエンコーダー状態の重み付き和として計算するアラインメントベースのデコーディングを採用し、アテンション重みをエンドツーエンドで学習する。
• 言語処理の前処理や外部アノテーションを一切行わず、生の指示-行動ペア上でモデルをエンドツーエンドで学習する。
• アンサンブル手法を用いずに、1つのビーム幅（beam width of one）によるグリーディデコーディングを採用し、強力な性能を達成する。

実験結果

リサーチクエスチョン

• RQ1 パーサーや語彙ライブラリなどの言語資源を一切使用せずに、ニューラルシーケンス・ツー・シーケンスモデルが自然言語指示を行動シーケンスにマッピングできるか？
• RQ2 生の語と隠れ表現の両方を用いるマルチレベルアラインメントは、標準的なアテンションと比較して、指示から行動へのアラインメントをどの程度向上させるか？
• RQ3 双方向符号化が、ナビゲーション言語における長距離依存関係のモデル化や曖昧性の解消にどの程度寄与するか？
• RQ4 特にマルチセンテンス指示の追従において、低データ環境下でのモデルの有効性はいかがなものか？
• RQ5 アラインメント、双方向性、エンコーダーなどのモデル構成要素の中で、性能向上に最も寄与しているのはどれか？

主な発見

• 単一文ナビゲーションタスクのvTestで70.56%の精度を達成し、言語資源を一切使用せず、新たな最先端性能を樹立した。
• 数百分の学習ペアしか利用できないマルチセンテンスタスクにおいても、27.91%の精度を達成し、意味解析器や再ランク付けを用いる先行手法を上回った。
• マルチレベルアラインヤーは、標準的な高レベルアラインヤーと比較して性能を向上させ、全モデルは単一文評価で距離0における71.73%の精度を達成した。
• アブレーションスタディの結果、双方向符号化が顕著に精度を向上させ、単方向モデルは全モデルに比べて性能が劣ることが明らかになった。
• アラインメント機構を削除（均一なアテンションを使用）すると性能が低下し、正確な語-行動アラインメントには学習済みアテンションが不可欠であることが示された。
• エンコーダーは顕著な性能向上をもたらしており、エンコーダーを除いたモデルは著しく性能が劣ることから、文脈的な文の表現が極めて重要であることが明らかになった。