[論文レビュー] A Document-grounded Matching Network for Response Selection in Retrieval-based Chatbots

Xueliang Zhao, Chongyang Tao+4 more|arXiv (Cornell University)|Jun 11, 2019

Topic Modeling参考文献 23被引用数 5

ひとこと要約

本稿では、階層的アテンション機構を用いて会話文脈と外部の背景文書を統合的にモデリングすることで、リtrievalベースのチャットボットにおける応答選択を向上させる文書接地型マッチングネットワーク（DGMN）を提案する。DGMNは文脈に適応した表現を用いて、関連する文書の部分を動的に特定し、応答を文書に接地する。PERSONA-CHATではr@1で13%以上の絶対的向上を達成し、CMUDoGでは5%以上の向上を示し、最先端の性能を達成した。

ABSTRACT

We present a document-grounded matching network (DGMN) for response selection that can power a knowledge-aware retrieval-based chatbot system. The challenges of building such a model lie in how to ground conversation contexts with background documents and how to recognize important information in the documents for matching. To overcome the challenges, DGMN fuses information in a document and a context into representations of each other, and dynamically determines if grounding is necessary and importance of different parts of the document and the context through hierarchical interaction with a response at the matching step. Empirical studies on two public data sets indicate that DGMN can significantly improve upon state-of-the-art methods and at the same time enjoys good interpretability.

研究の動機と目的

• リtrievalベースのチャットボットが外部知識、特に非構造化の背景文書に接地されていないというギャップを埋める。
• 会話文脈と外部文書を統合的にモデリングすることで、関連性と一貫性を向上させ、応答選択を改善する。
• 応答マッチング中に、どの部分の文書や文脈が重要であるかを動的に特定することで、解釈可能性と性能を向上させる。
• 階層的アテンション機構を用いて文脈と文書の表現を統合するニューラルマッチングモデルを開発する。

提案手法

• DGMNは自己アテンションを用いて、会話文脈内の発話、文書内の文、応答候補を文脈表現に符号化する。
• アテンション機構を介して文書に配慮した文脈表現と文脈に配慮した文書表現を構築し、接地と理解をモデリングする。
• 階層的インタラクション機構により、発話-応答および文-応答レベルでマッチング信号を計算し、接地の必要性と重要性を動的に決定する。
• 2段階のマッチング重みを学習する：まず発話と文書の文の間で、次に応答トークンと関連する文脈／文書部分の間で。
• 最終的なマッチングスコアは、すべてのペairワイズマッチング信号の集約であり、堅牢で解釈可能な応答選択を可能にする。
• 正例と負例の対比損失を用いて、エンドツーエンドで訓練することで、正しい応答を候補から選択するように最適化する。

実験結果

リサーチクエスチョン

• RQ1 リtrievalベースのチャットボットは、外部の背景文書を応答選択に効果的に統合するにはどうすればよいか？
• RQ2 モデルが応答マッチング中に、いつ、どこで接地が必要かを動的に特定するメカニズムは何か？
• RQ3 会話文脈と文書コンテンツを統合的にモデリングすることで、文脈のみのモデルと比較して、マッチング性能がどのように向上するか？
• RQ4 文書の長さが応答選択の性能に与える影響はどの程度か？また、DGMNは多様な文書の複雑さにどのように適応するか？

主な発見

• PERSONA-CHATデータセットでは、DGMNはTransformerベースの最先端モデルと比較して、r@1で13%以上の絶対的向上を達成した。
• CMUDoGデータセットでは、DGMNは最良のベースラインモデルと比較して、r@1を5%以上向上させた。
• PERSONA-CHATにおける短いプロフィールおよび長いプロフィールでも性能が低下しており、プロフィール長が情報の質と関連性に影響を与えることが示唆された。
• CMUDoGにおけるWikipediaベースの長い文書は、より良い性能をもたらし、より豊かな意味的重なりがマッチングを向上させることを示唆している。
• 定性的な分析により、DGMNは関連する文書の文や文脈-発話の関係を正しく特定していることが確認された。例えば、プロフィールで「学生」を「教育」と関連付ける例が観察された。
• アテンション重みの可視化により、機能語や標点記号は主に自身の発話に一致している一方で、『仕事』や『教育』といった内容語は、関連する文書の文と強いクロスアテンションを示していることがわかった。