[論文レビュー] Incremental Transformer with Deliberation Decoder for Document Grounded Conversations

Zekang Li, Cheng Niu+4 more|arXiv (Cornell University)|Jul 20, 2019

Topic Modeling参考文献 26被引用数 18

ひとこと要約

本稿では、文書知識を用いた対話システムにおける文脈の整合性と知識の関連性を向上させるために、文書知識を段階的にエンコードし、二段階のデコーダーを用いるインクリメンタルトランスフォーマーと熟考デコーダーを提案する。最初の段階で文脈の整合性を確保し、二番目の段階で文書事実を用いて応答を精錬することで、自動評価および人的評価の両面で最先端のベースラインを顕著に上回る性能を達成する。

ABSTRACT

Document Grounded Conversations is a task to generate dialogue responses when chatting about the content of a given document. Obviously, document knowledge plays a critical role in Document Grounded Conversations, while existing dialogue models do not exploit this kind of knowledge effectively enough. In this paper, we propose a novel Transformer-based architecture for multi-turn document grounded conversations. In particular, we devise an Incremental Transformer to encode multi-turn utterances along with knowledge in related documents. Motivated by the human cognitive process, we design a two-pass decoder (Deliberation Decoder) to improve context coherence and knowledge correctness. Our empirical study on a real-world Document Grounded Dataset proves that responses generated by our model significantly outperform competitive baselines on both context coherence and knowledge relevance.

研究の動機と目的

• 文書レベルの知識をマルチターン対話システムに効果的に統合する課題に対処すること。
• 従来のエンドツーエンドモデルを超えて、文書に基づく会話における応答の整合性と知識の関連性を向上させること。
• 応答を下書きし、背景知識を用いて精錬する人間の認知的プロセスを模倣すること。
• マルチターン対話履歴と関連する文書コンテンツを統合した統一表現を設計すること。
• 文脈の整合性と知識の正確性を別々に最適化する二段階デコーディング機構を開発すること。

提案手法

• 自己注意およびクロス注意メカニズムを用いて、自己および対話文脈に依存する形で、マルチターン発話と文書知識を段階的にエンコードするインクリメンタルトランスフォーマーを設計する。
• 熟考デコーダーは二段階のアーキテクチャを採用しており、最初の段階で対話履歴との整合性を重視した下書き応答を生成する。
• 二番目の段階では、関連する文書知識に注目することで、最初の段階の出力を精錬し、事実の正確性と関連性を向上させる。
• 二番目の段階のデコーダーは、対話文脈と文書表現の両方を用いて、最初の段階の結果を直接微調整する。
• クロス注意を用いて発話を関連する文書の断片と一致させ、デコーディング中に知識を動的に統合する。
• インクリメンタルエンコーディング方式により、発話間の長距離依存関係を維持しながら、段階的に文脈表現を構築できる。

実験結果

リサーチクエスチョン

• RQ1 二段階デコーダーアーキテクチャは、文書に基づく会話生成における文脈の整合性と知識の関連性の両方を向上させることができるか？
• RQ2 インクリメンタルエンコーディングは、文書知識統合を伴いながらマルチターン文脈を効果的に捉えることができるか？
• RQ3 下書きと精錬のプロセスを模倣することで、会話品質が向上するか？
• RQ4 提案手法は、文書に基づく会話ベンチマークで、従来のトランスフォーマー基盤のベースラインをどの程度上回るか？
• RQ5 モデルは、関連する知識を事前に統合することで、将来の会話の展開を誘導できるか？

主な発見

• 提案手法は、ドキュメントに基づく会話データセットにおいて、競合するベースラインと比較して応答の整合性と知識の関連性において顕著な向上を達成した。
• 人的評価により、本手法が生成する応答は文脈的に一貫しており、文書事実に基づいており、より適切であることが確認された。
• ケーススタディから、二段階デコーディング機構が知識エラーを効果的に低減していることが示された。特に、最初の段階で生じた事実の不正確さが二番目の段階で是正されている。
• 二番目の段階のデコーダーは、最初の段階よりも詳細で関連性の高い文書情報を統合することで、応答品質を向上させた。
• 一部の事例では、二番目の段階の応答が、知識に基づいたフォローアップ質問を提示することで、将来の会話の展開を誘導しており、より高い会話認識能力を示している。
• モデルは優れた一般化能力を示し、正確さに加え、自然で文脈的に適切な応答を生成している。