[論文レビュー] Conversing by Reading: Contentful Neural Conversation with On-demand Machine Reading

Lianhui Qin, Michel Galley+6 more|arXiv (Cornell University)|Jun 6, 2019

Topic Modeling参考文献 38被引用数 18

ひとこと要約

本稿では、会話履歴を質問とし、長文のWebドキュメントを文脈として扱うことにより、関連情報を取得・統合するオンデマンド機械的読解を統合した、エンドツーエンドのニューラル会話モデルであるCMR（Conversing by Reading）を提案する。このモデルは、Webページに根ざした280万ターンの新しいデータセット上で、ベースラインと比較して応答の情報量と多様性が顕著に向上することを示す。

ABSTRACT

Although neural conversation models are effective in learning how to produce fluent responses, their primary challenge lies in knowing what to say to make the conversation contentful and non-vacuous. We present a new end-to-end approach to contentful neural conversation that jointly models response generation and on-demand machine reading. The key idea is to provide the conversation model with relevant long-form text on the fly as a source of external knowledge. The model performs QA-style reading comprehension on this text in response to each conversational turn, thereby allowing for more focused integration of external knowledge than has been possible in prior approaches. To support further research on knowledge-grounded conversation, we introduce a new large-scale conversation dataset grounded in external web pages (2.8M turns, 7.4M sentences of grounding). Both human evaluation and automated metrics show that our approach results in more contentful responses compared to a variety of previous methods, improving both the informativeness and diversity of generated output.

研究の動機と目的

• ニューラル会話システムにおける内容的で空虚でない応答を生成する課題に対処すること。
• 会話中に長文のWebドキュメントから外部知識をオンデマンドで統合できるようにすること。
• 応答生成と機械的読解を統合的にモデル化することで、より深い知識の根拠づけを実現すること。
• 研究用に外部Webページに根ざした大規模かつ現実世界の会話データセットを構築すること。
• MRC（機械的読解）スタイルの読解がオープンドメイン会話における応答品質を向上させることを実証すること。

提案手法

• モデルは会話履歴を質問とし、長文のWebドキュメントを文脈として扱い、応答生成を機械的読解タスクとして定式化する。
• 会話履歴とドキュメントを別々に埋め込むためのデュアルエンコーダアーキテクチャを採用し、その後BiLSTMによる文脈符号化を実施する。
• 会話履歴とドキュメント間の情報統合にクロスアテンションを適用し、その後自己アテンションと最終的なBiLSTMを用いて記憶符号化を行う。
• 応答生成器は最終的な符号化された記憶に注目し、自己回帰的シーケンス生成器を用いて自由形式の応答を生成する。
• MRCモデルにおける標準的な答えスパン予測ヘッドを、自由形式の自然言語応答を可能にするシーケンス生成器に置き換える。
• 明示的な根拠付与アノテーションを必要とせず、Reddit会話と関連付けられたソースWebページに基づく新しいデータセット上でエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 オンデマンド機械的読解は、ニューラル会話応答の情報量と多様性を向上させることができるか？
• RQ2 応答生成と読解の共同学習は、知識と応答生成を別々にモデル化する方法と比較してどのように異なるか？
• RQ3 MRCベースのフレームワークは、長文で複雑なドキュメントを会話応答に効果的に統合できるか？
• RQ4 合成的または短文の知識ソースと比較して、現実世界の非構造的Webドキュメントを用いることで応答品質にどのような影響があるか？
• RQ5 明示的な根拠付与ラベルなしに会話-ドキュメントペア上でエンドツーエンドで学習させることで、弱い教師ありベースラインよりも優れた根拠づけが得られるか？

主な発見

• 人的評価において、CMRモデルは根拠なしのベースラインおよび先行の根拠あり応答生成モデルを大きく上回り、応答の情報量と多様性が向上していることが確認された。
• 人的評価により、CMRが生成する応答は、メモリネットワークやSeq2Seqベースラインの応答よりも内容的で外部ドキュメントに基づいたものであることが裏付けられた。
• BLEU、ROUGE、BERTScoreといった自動評価指標において、CMRは強力なベースラインを常に上回り、より自然な表現と関連性の高さが示された。
• CMRは、Redditと関連付けられたWebページから抽出された740万文の根拠付き文を含む280万ターンの会話turnを含む大規模な新規データセットで最先端のパフォーマンスを達成した。
• アブレーションスタディにより、オンデマンド読解の統合がパフォーマンス向上に不可欠であることが示され、これを削除すると応答品質が著しく低下した。
• このフレームワークは多様なトピックにうまく一般化でき、事実性に限らない自由形式の非事実的会話にも対応でき、オープンドメイン会話に適している。