[論文レビュー] A Survey of Available Corpora for Building Data-Driven Dialogue Systems

Iulian Vlad Serban, Ryan Lowe+3 more|arXiv (Cornell University)|Dec 17, 2015

Speech and dialogue systems参考文献 187被引用数 181

ひとこと要約

本論文は、データ駆動型対話システムの学習に適した公開対話コーパスの包括的サーベイを提供し、その特徴、対話戦略学習への有用性、転移学習および外部知識統合への適性を評価している。人間同士および人間・機械間の対話からなる主要なデータセットを特定し、その構造、サイズ、モダリティに注目するとともに、NUC、パープレキシティ、多様性スコアといった評価指標のガイドラインを提示し、堅牢なモデル開発を支援する。

ABSTRACT

During the past decade, several areas of speech and language understanding have witnessed substantial breakthroughs from the use of data-driven models. In the area of dialogue systems, the trend is less obvious, and most practical systems are still built through significant engineering and expert knowledge. Nevertheless, several recent results suggest that data-driven approaches are feasible and quite promising. To facilitate research in this area, we have carried out a wide survey of publicly available datasets suitable for data-driven learning of dialogue systems. We discuss important characteristics of these datasets, how they can be used to learn diverse dialogue strategies, and their other potential uses. We also examine methods for transfer learning between datasets and the use of external knowledge. Finally, we discuss appropriate choice of evaluation metrics for the learning objective.

研究の動機と目的

• データ駆動型対話システムの学習に適した公開対話コーパスを体系的かつサーベイすること。
• これらのデータセットの特徴を分析すること、特に対話タイプ、モダリティ（テキスト／音声／動画）、収集手法を含む。
• 各コーパスが、多様な対話戦略、パーソナライゼーション、文脈理解の学習にどの程度適しているかを評価すること。
• 対話モデリングにおける、データセット間の転移学習および外部知識ソースの統合のあり方を検討すること。
• 対話システムのパフォーマンスを評価するための適切な評価指標（例：NUC、パープレキシティ、応答多様性）を提案すること。

提案手法

• 著者らは、公開可能な対話コーパスを広範にサーベイし、対話タイプ（人間同士対話対比・人間・機械対話）、モダリティ（テキスト、音声、動画）、対話設定（自然対話対比・制約付き対話）で分類した。
• 各コーパスについて、サイズ、トピック、対話構造、収集手法（実際の人間同士の会話、タスク指向型システムからの人間・機械対話、文学からのフィクション対話など）を分析した。
• 本研究では、ニューラルネットワークを用いた対話ポリシー学習、状態追跡、応答生成、エンドツーエンド学習の分野における各データセットの潜在的有用性を評価した。
• 本論文では、コーパス間の転移学習技術と、外部知識（例：知識グラフ）を対話モデルに統合する手法についても議論した。
• モデル評価のための標準的指標（Next Utterance Classification（NUC）、語のパープレキシティ、応答多様性（distinct-1/2））を評価・比較した。
• 学習目的およびモデルタイプに応じた適切な評価指標選定のためのフレームワークを提唱した。

実験結果

リサーチクエスチョン

• RQ1 どの公開対話コーパスがデータ駆動型対話システムの学習に最も適しており、その主な特徴は何か？
• RQ2 人間同士対話、人間・機械対話、自然対話、制約付き対話、フィクション対話といった異なるコーパスタイプは、対話モデルのパフォーマンスおよび一般化性能にどのように影響を与えるか？
• RQ3 対話システムのパフォーマンスを評価するうえで最も効果的な評価指標は何か？また、それらは人間らしい応答生成とどのように整合するか？
• RQ4 異なる対話コーパス間で、どの程度転移学習を適用でき、モデルの一般化性能を向上させられるか？
• RQ5 既存のコーパスで学習された対話システムに、外部知識を効果的に統合する方法は何か？

主な発見

• 本サーベイは、タスク指向型とオープンドメインの両方のデータセットを含め、サイズ、モダリティ、収集手法に多様性を持つ多数の公開対話コーパスを特定・特徴づけた。
• DSTC や MultiWOZ といった人間・機械対話コーパスは、構造化された対話アクションと目的指向性の特徴から、タスク指向型対話システムの学習に特に価値がある。
• Cornell、Ubuntu、DailyDialog といったオープンドメインコーパスは、非目的指向でオープンエンドの対話システム開発を支援するが、しばしば明示的な対話状態のアノテーションを欠いている。
• Next Utterance Classification（NUC）や語のパープレキシティといった評価指標は、特に distinct-1 および distinct-2 といった多様性指標と組み合わせることで、モデルパフォーマンスの測定に有効であることが示された。
• コーパス間での転移学習は実現可能であり、特にソースドメインとターゲットドメインが言語的または構造的に類似している場合、低リソース対話タスクのパフォーマンス向上に寄与する。
• 知識グラフやKBといった外部知識ソースを統合することで、生成された対話の応答の関連性および事実整合性が顕著に向上することが分かった。