[論文レビュー] DialogStudio: Towards Richest and Most Diverse Unified Dataset Collection for Conversational AI

Jianguo Zhang, Kun Qian+8 more|arXiv (Cornell University)|Jul 19, 2023

Topic ModelingComputer Science被引用数 3

ひとこと要約

DialogStudioは、オープンドメイン、タスク指向型、知識に基づく、要約などのタスクを網羅する80以上の会話データセットを統合した、最大かつ最も多様な一貫したデータセットコレクションを提供する。ライセンス、ドメインに適したプロンプト、外部知識を含む一貫したフォーマットに標準化されている。DialogStudioを用いて訓練されたモデルは、ゼロショットおよびフェイントショット設定で最先端の性能を達成し、会話型AI研究およびトレーニングにおける優位性を示している。

ABSTRACT

Despite advancements in conversational AI, language models encounter challenges to handle diverse conversational tasks, and existing dialogue dataset collections often lack diversity and comprehensiveness. To tackle these issues, we introduce DialogStudio: the largest and most diverse collection of dialogue datasets, unified under a consistent format while preserving their original information. Our collection encompasses data from open-domain dialogues, task-oriented dialogues, natural language understanding, conversational recommendation, dialogue summarization, and knowledge-grounded dialogues, making it an incredibly rich and diverse resource for dialogue research and model training. To further enhance the utility of DialogStudio, we identify the licenses for each dataset, design external knowledge and domain-aware prompts for selected dialogues to facilitate instruction-aware fine-tuning. Furthermore, we develop conversational AI models using the dataset collection, and our experiments in both zero-shot and few-shot learning scenarios demonstrate the superiority of DialogStudio. To improve transparency and support dataset and task-based research, as well as language model pre-training, all datasets, licenses, codes, and models associated with DialogStudio are made publicly accessible\footnote{\url{https://github.com/salesforce/DialogStudio}}.

研究の動機と目的

• 会話型AIにおけるモデルの汎化性を阻害する包括的で多様かつ標準化された会話データセットの不足を解消すること。
• 複数のドメインやタスクに散在する異なる会話データセットを、元の情報を保持したまま、一貫性のある形式に統合すること。
• ライセンスの特定、ドメインに適したプロンプトの設計、外部知識の統合を通じて、データセットの使いやすさを向上させ、指示微調整を促進すること。
• さまざまな会話シナリオにわたるタスク固有およびデータセットベースの分析を可能にすることで、包括的な研究と事前学習を支援すること。
• DialogStudioに統合された豊富で統一されたデータ分布を活用することで、ゼロショットおよびフェイントショット学習によるモデル性能の向上を図ること。

提案手法

• オープンドメイン、タスク指向型、NLU、会話的レコメンデーション、会話要約、知識に基づく会話の6つのカテゴリーにまたがる、80以上の会話データセットを多様なソースから収集する。
• すべてのデータセットを一貫したJSONフォーマットに標準化し、統一されたメタデータを提供するが、元の構造と内容は保持する。
• 各データセットのライセンスを特定・文書化することで、研究における法的遵守と透明性を確保する。
• 指示微調整可能なモデルのファインチューニングを促進するために、選択されたデータセットに対してドメインに適したプロンプトを設計する。
• 知識に基づく会話のための外部知識インジェクションを実装し、モデルの推論力と応答生成の質を向上させる。
• ゼロショットおよびフェイントショット評価のため、DialogStudioのデータセットコレクションを用いて、指示に適した会話型モデル（770M〜3Bパラメータ）を訓練する。

実験結果

リサーチクエスチョン

• RQ1 統合的で多様かつ標準化された会話データセットコレクションは、会話型AIモデルのゼロショットおよびフェイントショット性能を向上させることができるか？
• RQ2 1つのコレクションに複数の会話タスクとドメインを統合することで、モデルの汎化性と耐性がどの程度向上するか？
• RQ3 ドメインに適したプロンプトと外部知識の統合は、モデルの指示従いと応答品質の向上にどの程度効果的か？
• RQ4 統合されたデータセットコレクションは、タスク固有の研究と大規模言語モデルの事前学習の両方を効果的にサポートできるか？
• RQ5 Flan、OPT、ParlAIなどの既存のコレクションと比較して、DialogStudioはカバレッジ、多様性、および使いやすさの点でどの程度優れているか？

主な発見

• DialogStudioは、6つの異なるカテゴリーにまたがる80以上の会話データセットを含んでおり、これまでで最も包括的かつ多様な統合コレクションである。
• ライセンス情報が完全に記載された形で公開されており、研究における透明性と再現可能性を確保している。
• ドメインに適したプロンプトと外部知識の統合は、指示従いおよび知識に基づくタスクにおけるモデル性能を顕著に向上させた。
• DialogStudioで訓練された指示微調整モデルは、ゼロショットおよびフェイントショット学習の両設定で、強力なベースラインを上回る性能を示した。
• HuggingFace互換の統合インターフェースを備え、単一の `load_dataset()` コマンドで簡単に統合可能であり、研究および開発ワークフローにおける広範な使いやすさを実現した。
• コレクションは個々のデータセットの分析と大規模な事前学習の両方をサポートしており、公正な比較とスケーラブルなモデル開発を可能にした。