[論文レビュー] Skeleton-to-Response: Dialogue Generation Guided by Retrieval Memory

Deng Cai, Yan Wang+5 more|arXiv (Cornell University)|Sep 14, 2018

Topic Modeling参考文献 32被引用数 16

ひとこと要約

本論文では、類似対話から情報を含む応答スケルトンを抽出し、クエリとスケルトンの両方を用いて具体的で多様な応答を生成することで、オープンドメイン対話生成を向上させるスケルトン・トゥ・リスポンスフレームワークを提案する。この手法は、応答の情報性と多様性を顕著に向上させるとともに、取得した応答をそのままでコピーする依存度を低減する。

ABSTRACT

For dialogue response generation, traditional generative models generate responses solely from input queries. Such models rely on insufficient information for generating a specific response since a certain query could be answered in multiple ways. Consequentially, those models tend to output generic and dull responses, impeding the generation of informative utterances. Recently, researchers have attempted to fill the information gap by exploiting information retrieval techniques. When generating a response for a current query, similar dialogues retrieved from the entire training data are considered as an additional knowledge source. While this may harvest massive information, the generative models could be overwhelmed, leading to undesirable performance. In this paper, we propose a new framework which exploits retrieval results via a skeleton-then-response paradigm. At first, a skeleton is generated by revising the retrieved responses. Then, a novel generative model uses both the generated skeleton and the original query for response generation. Experimental results show that our approaches significantly improve the diversity and informativeness of the generated responses.

研究の動機と目的

• 文脈不足と一対多応答問題により、生成型対話モデルが一般化され、情報のない応答を生成するという制限を是正すること。
• 関連検索（IR）ガイド付き生成モデルが、特に関連性がない場合に、取得した応答をそのままでコピーする傾向にあるという欠点を克服すること。
• 取得した対話から構造化された応答スケルトンを抽出・活用することで、応答の明確さと情報性を向上させること。
• 生成型モデルの一般化能力を維持しつつ、より意味的で文脈に適した応答へと導くこと。

提案手法

• 入力クエリに類似する歴史的クエリ-応答ペアを検索する情報検索システムを用いる。
• 取得した応答から不要または関連のない語をマスキングすることで、応答スケルトンを抽出するスケルトン生成モデルを訓練する。
• 微分不能なスケルトン生成プロセスを最適化するために、事前学習済みの評価者を用いた方策勾配法を採用する。
• スケルトンと応答生成を同時に学習するためのマルチタスク学習アプローチを代替手段として採用する。
• 入力クエリと生成されたスケルトンを応答生成モデルに供給し、最終的な文脈特化型応答を生成する。
• 編集距離とジャカード類似度を用いて、コピーの度合いとクエリ-検索類似度の影響を分析する。

実験結果

リサーチクエスチョン

• RQ1 取得した対話から抽出した応答スケルトンは、オープンドメイン対話システムにおける応答の情報性と明確さを向上させることができるか？
• RQ2 スケルトンベースの生成は、直接的検索やエンドツーエンド生成モデルと比較して、応答品質と多様性においてどのように異なるか？
• RQ3 本手法は、検索結果が関連性がない場合でも、取得した応答をそのままでコピーする傾向をどの程度低減するか？
• RQ4 クエリ-検索類似度の変動に応じて、スケルトン・トゥ・リスポンスフレームワークの性能はどのように変化するか？
• RQ5 スケルトン生成モデルが誤って重要な情報を削除した場合でも、応答生成モデルはそれを効果的に是正できるか？

主な発見

• 提案されたスケルトン・トゥ・リスポンスフレームワークは、MMI や EditVec といった強力なベースラインと比較して、応答の情報性と多様性を顕著に向上させる。
• CAS モデルは、単一検索設定において人間評価スコア 2.747 を達成し、IR-リランクベースラインと EditVec を上回った。特に、類似度が低いクエリの状況で顕著な優位性を示した。
• 直接コピーに依存する度合いが低減された：生成された応答と取得された応答間の編集距離は、クエリ-検索類似度が低いほど増加し、適応的な変更が行われていることを示している。
• スケルトン生成モデルは、代理の基準に対して F1 スコア 0.751 を達成しており、ノイズを除外しながら関連するコンテンツを効果的に抽出していることが示された。
• 複数の検索ペアを用いるよりも、単一の検索ペアを用いる方がより良い結果をもたらした。複数の異種スケルトンは応答生成モデルを混乱させるためである。
• スケルトン生成モデルの誤り（例：重要なエンティティを過剰に削除）に対しても、応答生成モデルは効果的に是正でき、生成プロセス全体としての耐性を示した。