[論文レビュー] Proactive Human-Machine Conversation with Explicit Conversation Goals

Wenquan Wu, Zhen Guo+5 more|arXiv (Cornell University)|Jun 13, 2019

Topic Modeling参考文献 20被引用数 41

ひとこと要約

本論文は、リーダーが知識グラフを援用して会話を明示的なトピックへと導く積極的対話設定を提案し、知識駆動型積極対話の大規模データセットDuConvを提供する。さらに、知識グラフを計画対象とする retrieval- および generation-based モデルを評価する。

ABSTRACT

Though great progress has been made for human-machine conversation, current dialogue system is still in its infancy: it usually converses passively and utters words more as a matter of response, rather than on its own initiatives. In this paper, we take a radical step towards building a human-like conversational agent: endowing it with the ability of proactively leading the conversation (introducing a new topic or maintaining the current topic). To facilitate the development of such conversation systems, we create a new dataset named DuConv where one acts as a conversation leader and the other acts as the follower. The leader is provided with a knowledge graph and asked to sequentially change the discussion topics, following the given conversation goal, and meanwhile keep the dialogue as natural and engaging as possible. DuConv enables a very challenging task as the model needs to both understand dialogue and plan over the given knowledge graph. We establish baseline results on this dataset (about 270K utterances and 30k dialogues) using several state-of-the-art models. Experimental results show that dialogue models that plan over the knowledge graph can make full use of related knowledge to generate more diverse multi-turn conversations. The baseline systems along with the dataset are publicly available

研究の動機と目的

• 人間のようなエージェントが単に応答するのではなく、積極的に会話を導くように構築する動機づけ。
• 知識グラフ上での明示的なゴールを含む知識-grounded積極対話タスクを提案。
• 事実情報と非事実情報の知識を組み合わせた大規模データセット（DuConv）を構築・公開。
• 知識を意識した retrieval および generation モデルを積極対話のために開発・評価。
• 知識グラフ上の計画が多ターン会話の多様性とゴール達成に与える影響を分析。

提案手法

• ファクト情報と非ファクト情報の映画知識を結びつける知識グラフを構築し、関連するトリプレットを含める。
• 会話のゴールを knowledge paths [start -> topic_a -> topic_b]として定義し、リーダーとフォロワーを含む約30k件の対話を収集。
• コンテキスト、知識、ゴールの統合を用いた知識意識型のリトリーバルベースモデルを提案。
• prior/posterior knowledge distributions を学習し、それらを KL ダイバージェンスで整合させる知識誘導デコーダを備えた知識意識型生成ベースモデルを提案。
• 自動指標（Hits@1/3、PPL、F1/BLEU、DISTINCT）と人間評価（流暢さ、整合性、情報性、積極性、ゴール達成）を用いてモデルを訓練・評価。
• 知識駆動型の積極対話のベンチマークを可能にするよう、コードとデータを公開する。

実験結果

リサーチクエスチョン

• RQ1 知識グラフ上で明示的なゴールを計画し、対話システムが積極的に会話を誘導できるか？
• RQ2 知識グラフとゴール指向の計画を取り入れると、多ターン対話の多様性と情報性は向上するか？
• RQ3 retrievalベースと生成ベースのアプローチは、知識 grounding 積極対話設定でどのように比較されるか？
• RQ4 トピックラベルの正規化（topic_a/topic_b）が一般化と性能に与える影響は何か？

主な発見

methods	Hits@1	Hits@3	PPL	F1/BLEU1/BLEU2	DISTINCT 1&2	knowledge R/P/F1
retrieval w/o klg.	46. 46.74%	75.32%	-	33.12 / 0.282 / 0.146	0.122 / 0.388	8.54 / 37.93 / 13.47
retrieval w/ klg.	46.74%	75.32%	-	33.12 / 0.282 / 0.146	0.122 / 0.388	8.54 / 37.93 / 13.47
norm retrieval	50.92 %	79.02 %	-	34.73 / 0.291 / 0.156	0.118 / 0.373	8.85/ 38.00 / 13.88
S2S w/o klg.	24.88%	49.64%	20.16	26.43 / 0.187 / 0.100	0.032 / 0.088	4.59 / 30.00 / 7.73
S2S w/ klg.	30.58%	57.52%	13.53	32.19 / 0.226 / 0.140	0.064 / 0.168	5.89 / 36.31 / 9.85
norm S2S	31.26%	55.12%	10.96	39.94 / 0.283 / 0.186	0.093 / 0.222	7.52 / 42.74 / 12.34
generation w/o klg.	25.52%	50.14%	20.3	28.52 / 0.29 / 0.154	0.032 / 0.075	6.18 / 27.48 / 9.86
generation w/ klg.	31.90%	58.44%	27.3	36.21 / 0.32 / 0.169	0.049 / 0.144	8.67 / 35.90 / 13.62
norm generation	32.50%	58.50%	24.3	41.84 / 0.347 / 0.198	0.057 / 0.155	9.78 / 38.02 / 15.27

• 知識意識型モデルは、知識を使用しないベースラインより全体測定で優れている。
• 生成ベースのモデルは、ターンレベルの情報性と積極性が高く、会話レベルのゴール達成と整合性も優れており、リトリーバルベースや Seq2Seq ベースラインを上回る。
• prior/posterior knowledge distributions を KL ダイバージェンスと併用することで、知識の活用とゴール達成が改善される。
• トピックラベルの正規化（topic_a/topic_b）は、すべてのモデルで性能を大幅に向上させる。
• 知識を活用したアプローチは、より多様でトピック適切な応答を生み出すが、完全な多ターンゴール達成には一部ケースで依然難しい。