[論文レビュー] Sequence-to-Sequence Learning for Task-oriented Dialogue with Dialogue State Representation

Haoyang Wen, Yijia Liu+3 more|arXiv (Cornell University)|Jun 12, 2018

Topic Modeling参考文献 29被引用数 36

ひとこと要約

本論文は、対話状態を分散表現として暗黙的にモデル化し、アテンションに基づくソフト検索を用いて知識ベースエントリを取得する、タスク指向対話のための新しいシーケンス・ツー・シーケンスフレームワークを提案する。Stanford Multi-turn Multi-domain Task-oriented Dialogue Datasetを用いた自動評価および人的評価において、手動によるアノテーションを伴わず、状態追跡と応答生成を一括してエンド・ツー・エンドで学習することで、ベースラインSeq2Seqモデルを著しく上回る性能を達成した。

ABSTRACT

Classic pipeline models for task-oriented dialogue system require explicit modeling the dialogue states and hand-crafted action spaces to query a domain-specific knowledge base. Conversely, sequence-to-sequence models learn to map dialogue history to the response in current turn without explicit knowledge base querying. In this work, we propose a novel framework that leverages the advantages of classic pipeline and sequence-to-sequence models. Our framework models a dialogue state as a fixed-size distributed representation and use this representation to query a knowledge base via an attention mechanism. Experiment on Stanford Multi-turn Multi-domain Task-oriented Dialogue Dataset shows that our framework significantly outperforms other sequence-to-sequence based baseline models on both automatic and human evaluation.

研究の動機と目的

• 純粋なSeq2Seqモデルが知識ベース情報の取得を明示的に行えないという限界を解消すること。
• 従来のパイプラインモデルにおける手作業によるアクション空間やドメイン固有のアノテーションの必要性を克服すること。
• 対話状態アノテーションを必要とせず、対話状態追跡と応答生成をエンド・ツー・エンドで学習可能にすること。
• 微分可能なアテンションベースのKB検索機構を用いて、応答におけるエンティティ検索の正確性を向上させること。
• シーケンス・ツー・シーケンス学習と従来のパイプラインアーキテクチャの長所を統合し、より優れたタスク指向対話性能を実現すること。

提案手法

• スロット追跡を明示的に行わず、アテンションベースのネットワークを用いて固定サイズの分散表現として対話状態をモデル化する。
• アテンション機構を用いて知識ベースにおけるエントリレベルのソフト検索を実行し、微分可能でエンド・ツー・エンドの学習を可能にする。
• 対話状態表現と知識ベース埋め込みを統合してメモリ行列を構築し、統合的な文脈モデリングを実現する。
• デコード段階で二重のアテンション機構を適用する：一つはメモリ行列上で、もう一つは入力シーケンス上で。
• 知識ベースからのエンティティを生成応答に直接コピーするためのコピーメカニズムを統合する。
• 対話履歴のみを用いて、対話状態ラベルのアノテーションを必要とせず、モデル全体をエンド・ツー・エンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 明示的なアクション空間や手作業によるクエリを必要とせず、シーケンス・ツー・シーケンスモデルが知識ベースエントリを効果的に検索できるか。
• RQ2 アテンションベースの対話状態表現は、従来のスロットベースの状態追跡を代替しても性能を維持できるか。
• RQ3 状態追跡と応答生成を統合的にエンド・ツー・エンドで学習することで、モジュール別に別々に学習する場合と比較して対話品質が向上するか。
• RQ4 ソフトアテンションベースのKB検索は、ハードコード化されたまたはテンプレートベースの検索を上回れるか。
• RQ5 コピーメカニズムの統合が、生成応答におけるエンティティの正確性をどのように向上させるか。

主な発見

• 提案フレームワークは、BLEU や ROUGE などの自動評価指標において、ベースラインSeq2Seqモデルを著しく上回った。
• 人的評価では、本モデルが生成する応答が、ベースラインモデルの応答よりも正確で自然かつ文脈的に適切であることが確認された。
• 事例研究により、本モデルがアドレスやPOIタイプなどの知識ベースエントリを正しく検索し、応答に統合できていることが示された。
• アテンションベースの対話状態表現は、アノテートされた状態ラベルを必要とせず、関連するスロット情報を効果的に捉えている。
• ソフトKB検索機構により、微分可能でエンド・ツー・エンドの学習が可能でありながら、エンティティ検索の正確性を維持している。
• 対話状態アノテーションを必要とせず、Stanford Multi-turn Multi-domain Task-oriented Dialogue Datasetで最先端の性能を達成した。