[論文レビュー] CFGs-2-NLU: Sequence-to-Sequence Learning for Mapping Utterances to Semantics and Pragmatics

Adam Summerville, James Ryan+2 more|arXiv (Cornell University)|Jul 22, 2016

Topic Modeling参考文献 16被引用数 4

ひとこと要約

本論文は、意味的および実用的情報を付加した文脈自由文法（CFG）を用いて、LSTM RNNをプレイヤーの発話から文法的トレースにマッピングするように学習する、シーケンス・ツー・シーケンス学習手法を提案する。このシステムは、表面的発話からトレースへの翻訳において高い正確性を達成しており、インタラクティブな物語ゲームにおける対話管理のための意味的解釈と実用的文脈の堅牢な推論を可能にする。

ABSTRACT

In this paper, we present a novel approach to natural language understanding that utilizes context-free grammars (CFGs) in conjunction with sequence-to-sequence (seq2seq) deep learning. Specifically, we take a CFG authored to generate dialogue for our target application for NLU, a videogame, and train a long short-term memory (LSTM) recurrent neural network (RNN) to map the surface utterances that it produces to traces of the grammatical expansions that yielded them. Critically, this CFG was authored using a tool we have developed that supports arbitrary annotation of the nonterminal symbols in the grammar. Because we already annotated the symbols in this grammar for the semantic and pragmatic considerations that our game's dialogue manager operates over, we can use the grammatical trace associated with any surface utterance to infer such information. During gameplay, we translate player utterances into grammatical traces (using our RNN), collect the mark-up attributed to the symbols included in that trace, and pass this information to the dialogue manager, which updates the conversation state accordingly. From an offline evaluation task, we demonstrate that our trained RNN translates surface utterances to grammatical traces with great accuracy. To our knowledge, this is the first usage of seq2seq learning for conversational agents (our game's characters) who explicitly reason over semantic and pragmatic considerations.

研究の動機と目的

• ゲームにおけるオープンドメインでインタラクティブな対話を行うためのルールベースNLUシステムの作成にかかる著者の負担を軽減すること。
• 自然言語理解のための手作業で作成されたパターンマッチングルールの代替として、スケーラブルで壊れにくい代替手法を提供すること。
• グラフィカルな文法作成ツール（Expressionist）を介して、素人が意味的および実用的アノテーションを指定できるようにすること。
• シーケンス・ツー・シーケンス学習を活用して、文法的トレースから複雑で階層的な言語的パターンを推論すること。
• 同じアノテート済み文法を自然言語生成と理解の両方で使用することによる、一貫性の向上と重複の削減。

提案手法

• Expressionistツールを用いて、非終端記号に意味的および実用的コンテンツをアノテートした文脈自由文法（CFG）が作成される。
• 終端導出（表面的発話）とそれに対応する文法的展開トレースがペairされ、学習データセットが構築される。
• LSTMベースのシーケンス・ツー・シーケンスモデルが、表面的発話をその文法的トレースにマッピングするように学習される。
• 推論段階では、訓練済みのRNNがプレイヤーの発話を文法的トレースに翻訳し、その後、そのトレースから意味的および実用的アノテーションが抽出される。
• システムはトレース構造を活用して、非終端記号から最終的な発話解釈へのアノテーションの伝搬を実現する。
• 今後の拡張として、会話履歴の統合と、ビームサーチやポインタネットによる名前付きエンティティのより良い取り扱いが想定されている。

実験結果

リサーチクエスチョン

• RQ1 シーケンス・ツー・シーケンスモデルは、アノテート済みCFGから導出された文法的トレースに、自然言語発話を正確にマッピングできるか？
• RQ2 文法にアノテーションを付加したシーケンス・ツー・シーケンスモデルを用いることで、従来のルールベースNLUシステムと比較して著者の負担が軽減されるか？
• RQ3 このアプローチは、ゲームのようなオープンドメインでインタラクティブな対話システムにおいて、意味的および実用的推論を堅牢に可能にするか？
• RQ4 このモデルは、会話文脈における未知語彙や曖昧な発話をどのように処理するか？
• RQ5 同じ文法が、自然言語生成と理解の両方でどの程度利用可能か？

主な発見

• 訓練済みのRNNは、表面的発話を文法的トレースに翻訳する際に高い正確性を示しており、意味的および実用的コンテンツの信頼性の高い推論を可能にしている。
• 最小限の作業で数千ものルールを手作業で作成する必要が著しく減少しており、これは最小限の作業で何京もの導出を生成できることで実証されている。
• 同じ文法を自然言語生成と理解の両方で使用でき、一貫性の向上と重複の削減が図られている。
• グラフィカルなインターフェースにより、発話の導出とアノテーションに関する即時のフィードバックが得られるため、素人による作成に適している。
• パターンマッチングに頼るのではなく、階層的なパターンを学習することで、入力発話の変化に対して高い耐性を示している。
• 著者らは、会話履歴の統合と高度なデコード戦略の導入により、名前付きエンティティや文脈的曖昧性の処理を改善する今後の作業を同定している。