[論文レビュー] Alignment-based compositional semantics for instruction following

Jacob Andreas, Dan Klein|arXiv (Cornell University)|Aug 26, 2015

Natural Language Processing Techniques参考文献 24被引用数 14

ひとこと要約

本稿では、指示に従うための構造的意味解析モデルを提案する。このモデルは、指示と行動の間のシーケンス対シーケンスのアライメント、および文の構文と行動表現の間の構造対構造のアライメントをモデル化することで、構造的なテキストと環境観測を統合的に扱う。このアプローチにより、マップ読み取り、迷路ナビゲーション、パズル解決の3つの多様な指示従いベンチマークで最先端の性能を達成し、共同計画と構成的意味解析を通じて柔軟で根拠があり、文化的な自然言語命令の解釈を可能にする。

ABSTRACT

This paper describes an alignment-based model for interpreting natural language instructions in context. We approach instruction following as a search over plans, scoring sequences of actions conditioned on structured observations of text and the environment. By explicitly modeling both the low-level compositional structure of individual actions and the high-level structure of full plans, we are able to learn both grounded representations of sentence meaning and pragmatic constraints on interpretation. To demonstrate the model's flexibility, we apply it to a diverse set of benchmark tasks. On every task, we outperform strong task-specific baselines, and achieve several new state-of-the-art results.

研究の動機と目的

• 動的環境における構成的意味論と構造的計画を統合する包括的フレームワークの開発。
• 従来の意味解析器や線形方策推定器の限界を克服し、文脈に応じた、現実世界に根ざした自然言語命令の解釈を可能にする。
• 低レベルの行動構成と高レベルの計画構造の両方を明示的にモデル化することで、実用的推論とノイズや不完全な指示に対する耐性を実現する。
• タスク固有のアーキテクチャ変更なしに、多様な命令従いタスクへの一般化を実証する。
• 言語的構造をヒューリスティックとして組み込むことで、行動シーケンスの有効な探索を可能にし、計画の効率性と成功確率を向上させる。

提案手法

• アライメントポテンシャルを備えたブロック構造的でグラフ値の条件付きランダムフィールドを用いて、指示従いを構造的予測問題として定式化する。
• 自然言語指示と候補行動シーケンスの間のシーケンス対シーケンスのアライメントをモデル化し、どの行動が指定されているか、あるいは暗黙的に示唆されているかを推論可能にする。
• 文の依存解析と行動のグラフ表現との間の構造対構造アライメントを用いて、意味の構成的接地を実現する。
• 状態ダイナミクスと制約をエンコードする遷移ポテンシャルを介して環境モデルを統合し、先読み計画を可能にする。
• 手動でアノテートされた論理形式に依存せず、環境実行からの報酬信号を用いたエンドツーエンド学習により、タスク成功を最適化する。
• 言語的および知覚的構造から導出された構造的特徴を用いたビームサーチを採用し、効率的な計画探索をガイドする。

実験結果

リサーチクエスチョン

• RQ1 明示的な論理形式や手作業で作成された述語を必要とせずに、構成的意味論を現実世界の環境に根拠づける方法は何か？
• RQ2 言語的構造と行動構造のアライメントは、指示の過剰指定や不十分指定に対する耐性をどの程度向上させ得るか？
• RQ3 包括的なモデルは、言語的複雑性や環境ダイナミクスの異なる多様な命令従いタスクにおいて、タスク固有のベースラインを上回る性能を発揮できるか？
• RQ4 困難な探索空間を有する環境において、言語的構造を計画のヒューリスティックとして用いる効果は何か？
• RQ5 高レベルの計画構造は、自然言語命令における曖昧な参照の解消や欠落した手順の推論にどのような役割を果たすか？

主な発見

• 本モデルは、マップ読み取り、迷路ナビゲーション、パズル解決の3つのベンチマークタスクすべてで最先端の性能を達成し、強力なタスク固有のベースラインを上回った。
• パズル解決（Crossblock）タスクでは、70%の正確一致と86%の成功率を達成し、テキストなしベースライン（54%一致、78%成功）を顕著に上回った。
• すべてのタスクで、前回の最先端結果比で15–20%の誤差率低減を達成し、一貫した向上を示した。
• 行動構造と経路構造の両方の組み込みが顕著な改善をもたらし、アブレーションスタディでは、いずれかのコンポーネントを削除すると性能が低下した。
• マップ読み取りでは、マップ上の距離に基づく類似性により曖昧な参照を解消し、迷路ナビゲーションでは環境モデルを用いて欠落した手順を推論し、パズル解決ではルール知識を用いて曖昧なヒントを解釈した。
• 言語的構造を計画のヒューリスティックとして用いることで、単にナイーブなビームサーチのみでは処理不能な問題の大部分を解けるようになった。