[論文レビュー] KdConv: A Chinese Multi-domain Dialogue Dataset Towards Multi-turn Knowledge-driven Conversation

Hao Zhou, Chujie Zheng+3 more|arXiv (Cornell University)|Apr 8, 2020

Topic Modeling参考文献 40被引用数 10

ひとこと要約

本稿では、映画、音楽、旅行の3分野にまたがる4.5K件の多ターン対話（合計86K発話）を含む大規模な中国語マルチドメイン対話データセットKdConvを紹介する。各発話は知識グラフからの関連知識トリプルでアノテーションされている。このデータセットは、知識に基づく多ターン対話生成に関する研究を可能にし、ベンチマーク結果から知識統合がモデルの整合性を向上させることを示しているが、分野をまたがる知識認識応答生成の向上の余地は依然として大きい。

ABSTRACT

The research of knowledge-driven conversational systems is largely limited due to the lack of dialog data which consist of multi-turn conversations on multiple topics and with knowledge annotations. In this paper, we propose a Chinese multi-domain knowledge-driven conversation dataset, KdConv, which grounds the topics in multi-turn conversations to knowledge graphs. Our corpus contains 4.5K conversations from three domains (film, music, and travel), and 86K utterances with an average turn number of 19.0. These conversations contain in-depth discussions on related topics and natural transition between multiple topics. To facilitate the following research on this corpus, we provide several benchmark models. Comparative results show that the models can be enhanced by introducing background knowledge, yet there is still a large space for leveraging knowledge to model multi-turn conversations for further research. Results also show that there are obvious performance differences between different domains, indicating that it is worth to further explore transfer learning and domain adaptation. The corpus and benchmark models are publicly available.

研究の動機と目的

• 知識駆動型会話に適した、細分化された知識アノテーションを備えた大規模でマルチドメインかつ多ターン中国語対話データセットの不足を補うこと。
• 多ターン対話における知識の根拠付け、知識計画、知識適応に関する研究を支援すること。
• 背景知識へのアクセス有無に関わらず、リtrievalベースおよび生成ベースのモデルの評価を可能にすること。
• 関連するドメイン間（例：映画から音楽）および異なるドメイン間（例：音楽から旅行）でのドメイン転送と適応を調査すること。
• 低リソース・マルチリンガル環境における知識認識対話システムの発展を促進するベンチマークを提供すること。

提案手法

• 映画、音楽、旅行の3分野で、人間によるアノテーション付きの多ターン対話を収集し、1対話あたり平均19ターンの長さである。
• 各発話は、知識グラフから抽出された関連知識トリプルでアノテーションされ、文レベルでの細分化された知識の根拠付けが可能である。
• 外部知識ソースからのエンティティリンクと関係抽出を用いて知識グラフを構築し、トピック関連の事実的根拠を保証した。
• リtrievalベースおよび生成ベースの評価を想定し、知識注入有無の両方を考慮したHREDおよび知識認識BERTのベンチマークモデルを開発した。
• Fleissのカappaを用いて、発話の自然さと整合性（0–2スケール）を評価する人間評価を実施し、アノテータ間の一貫性を確認した。
• 知識へのアクセス有無を比較する実験を行い、ドメインをまたいで整合性、自然さ、知識の整合性を分析した。

実験結果

リサーチクエスチョン

• RQ1 知識認識モデルは、長期間にわたる多ターン中国語対話において、整合的かつ知識に基づいた応答をどれほど効果的に生成できるか？
• RQ2 知識グラフからの知識統合が、マルチドメインかつ多ターン会話における応答の自然さと整合性をどの程度向上させるか？
• RQ3 映画、音楽、旅行といった異なるドメイン間でのパフォーマンス差が、知識の根拠付けやモデルの汎化能力に与える影響は何か？
• RQ4 知識認識モデルは、オープンドメイン対話におけるトピックの移行や複数の事実を利用した応答処理を効果的に処理できるか？
• RQ5 現在のモデルは、非構造的または複雑な知識ソースと生成応答をどの程度適切に一致させられるか？

主な発見

• 知識認識BERTは、自然さと整合性の両面で他のモデルを上回り、整合性スコア2.00を達成し、文脈および知識と高い整合性を示した。
• 知識注入付きHREDは、全ドメインで整合性を1.00から1.50以上に向上させ、知識統合が背景事実との関連性を高めることを示した。
• 改善は見られたが、すべての生成ベースモデルの整合性スコアは2.00未満にとどまり、知識に整合した応答生成における継続的な課題が明らかになった。
• 平均19.0ターンの対話長さは、大多数の既存データセットよりも顕著に長く、より自然でトピックが多様な会話を可能にした。
• ドメインごとのパフォーマンスに差が見られ、映画と旅行では特有の課題が顕在化したため、ドメイン固有の適応戦略の必要性が示された。
• 人間評価により、アノテータ間の一貫性（Fleissのカappa 0.37–0.74）が確認され、アノテーションおよび評価フレームワークの信頼性が裏付けられた。