[論文レビュー] Improving Background Based Conversation with Context-aware Knowledge Pre-selection

Yushuang Zhang, Pengjie Ren+1 more|arXiv (Cornell University)|Jun 16, 2019

Speech and dialogue systems参考文献 21被引用数 17

ひとこと要約

本稿では、文脈に配慮した知識事前選択（CaKe）を提案する。これは、背景ベース会話の生成ベースモデルであり、文脈履歴を動的クエリとして用いて、双方向アテンション機構を介して関連する背景知識を事前に選択することで、知識選択を向上させる。CaKeは、自然な会話の流れと情報量の両面で最先端のベースラインを顕著に上回り、GTTPより自然で関連性の高い応答を生成する一方、抽出ベース手法の不自然さを回避する。

ABSTRACT

Background Based Conversations (BBCs) have been developed to make dialogue systems generate more informative and natural responses by leveraging background knowledge. Existing methods for BBCs can be grouped into two categories: extraction-based methods and generation-based methods. The former extract spans frombackground material as responses that are not necessarily natural. The latter generate responses thatare natural but not necessarily effective in leveraging background knowledge. In this paper, we focus on generation-based methods and propose a model, namely Context-aware Knowledge Pre-selection (CaKe), which introduces a pre-selection process that uses dynamic bi-directional attention to improve knowledge selection by using the utterance history context as prior information to select the most relevant background material. Experimental results show that our model is superior to current state-of-the-art baselines, indicating that it benefits from the pre-selection process, thus improving in-formativeness and fluency.

研究の動機と目的

• 生成ベース会話システムが背景知識を効果的に活用できないという限界を解決すること。
• 会話履歴を知識選択の事前クエリとして統合することで、応答のなめらかさと情報量を向上させること。
• 直接的な背景スパン抽出に依存することで生じる不自然な応答を低減すること。
• 応答生成の前段階で知識の関連性を高めるための事前選択メカニズムを開発すること。
• オープンドメイン会話システムにおける情報量と自然さのバランスを図ること。

提案手法

• 会話履歴のエンコーダー状態をクエリとして用い、関連する背景知識を特定する文脈に配慮した知識事前選択モジュールを導入する。
• BiDAFにインspiredされた修正版の双方向アテンション機構を採用し、文脈から背景知識へのアテンションと背景知識から文脈へのアテンションを計算することで、正確なトークンレベルの関連性スコアを算出する。
• 動的双方向アテンションを用いて、長大な背景テキストシーケンスにおける最も関連性の高いスパンを特定する。
• 事前選択された知識をシーケンス・トゥ・シーケンス生成フレームワークに統合して応答生成を行う。
• アテンション機構を備えた階層的エンコーダ・デコーダアーキテクチャを用い、なめらかで文脈に根ざした応答を生成する。
• 会話履歴の文脈を生成だけでなく、知識選択の事前情報としても活用することで、長大なシーケンスにおける情報の希釈を緩和する。

実験結果

リサーチクエスチョン

• RQ1 会話履歴をクエリとして用いることで、背景ベース会話における知識選択が向上するか？
• RQ2 生成の前段階で関連する知識を事前選択することで、より情報量が多く自然な応答が得られるか？
• RQ3 CaKeは、最先端の生成ベースおよび抽出ベースモデルと比較して、知識活用度と応答品質において優れているか？
• RQ4 事前選択メカニズムは、関連性のないまたは文脈外の背景知識の選択リスクをどの程度低減するか？
• RQ5 文脈に配慮した事前選択は、長大な会話履歴における情報の希釈問題を緩和できるか？

主な発見

• CaKeは、生成ベースの最先端ベースラインであるGTTPと比較して、なめらかさと情報量の両面で顕著に優れている。
• BiDAF（抽出ベース手法）よりも自然な応答を生成する一方で、依然として強い知識の根拠を維持している。
• アテンション重みの可視化により、CaKeの文脈から背景へのアテンションが、例2における「fun」といった関連語を効果的に強調していることが確認された。
• 事前選択メカニズムにより、特に長大な背景テキストにおいて、文脈全体をクエリとして活用することで知識選択の正確性が向上した。
• 改善が見られたが、CaKeは「I agree」や「I know」のような一般的なフレーズを生成することがあり、応答の多様性向上のための改善が求められる。
• 長大な背景テキストにおいて、事前選択モジュールの性能が低下する傾向があるため、スケーラビリティに限界があると考えられる。