[論文レビュー] Taskmaster-1: Toward a Realistic and Diverse Dialog Dataset

Bill Byrne, K. S. Krishnamoorthi+8 more|arXiv (Cornell University)|Sep 1, 2019

Topic Modeling参考文献 26被引用数 75

ひとこと要約

Taskmaster-1 は、6つの領域にまたがる13,215のゴール指向対話データセットを、2つの方法（WOzの2人会話とセルフ対話）で収集し、APIスタイルのアノテーションとベースラインニューラルモデルを特徴とする。

ABSTRACT

A significant barrier to progress in data-driven approaches to building dialog systems is the lack of high quality, goal-oriented conversational data. To help satisfy this elementary requirement, we introduce the initial release of the Taskmaster-1 dataset which includes 13,215 task-based dialogs comprising six domains. Two procedures were used to create this collection, each with unique advantages. The first involves a two-person, spoken "Wizard of Oz" (WOz) approach in which trained agents and crowdsourced workers interact to complete the task while the second is "self-dialog" in which crowdsourced workers write the entire dialog themselves. We do not restrict the workers to detailed scripts or to a small knowledge base and hence we observe that our dataset contains more realistic and diverse conversations in comparison to existing datasets. We offer several baseline models including state of the art neural seq2seq architectures with benchmark performance as well as qualitative human evaluations. Dialogs are labeled with API calls and arguments, a simple and cost effective approach which avoids the requirement of complex annotation schema. The layer of abstraction between the dialog model and the service provider API allows for a given model to interact with multiple services that provide similar functionally. Finally, the dataset will evoke interest in written vs. spoken language, discourse patterns, error handling and other linguistic phenomena related to dialog system research, development and design.

研究の動機と目的

• データ駆動型対話システムにとって高品質でゴール指向の対話データが不足している状態へ対処する。
• 話し言いWOzとセルフ対話アプローチを組み合わせて、現実的に多様なコーパスを提供する。
• 注釈をシンプルな API 呼び出しと引数で行い、アノテーションを容易にし、複数サービスのグラウンディングを可能にする。
• ベースラインの seq2seq および Transformer モデルをベンチマークし、自動評価と人間評価を比較する。

提案手法

• 6つの領域（ピザ、車の修理、ライドサービス、映画のチケット、コーヒー、レストラン予約）にまたがる13,215の対話を作成する。
• クラウドワーカーをユーザーとして、訓練されたエージェントをアシスタントとする Wizard-of-Oz 設定を用いて、2人の対話を話し言葉で収集する。
• クラウドワーカーが完全なユーザー-アシスタント対話を書いたセルフダイアログを収集する。
• 対話を API 呼び出しと引数で注釈する（複雑な対話状態はなし）ことで、グラウンディングを可能にし、複数サービス間の再利用を容易にする。
• セルフダイアログコーパスを対象に、複数の seq2seq ベースライン（3-gram、4-gram、LSTM、注意機構付き LSTM、畳み込み、Transformer）と GPT-2 ベースラインを訓練・評価する。
• モデル出力の自動指標（Perplexity、BLEU）と人間評価（評価とランキング）を比較する。

実験結果

リサーチクエスチョン

• RQ1 小さな知識ベースに制限せず、現実的で多様なゴール指向対話データセットをどのように構築できるか？
• RQ2 WOzの2人会話とセルフダイアログは、異なる言語的特徴とモデル上の課題をもたらすか？
• RQ3 複数のサービス間でグラウンディングするには、API呼び出しベースの注釈で十分か？
• RQ4 Taskmaster-1 における標準的な seq2seq アーキテクチャの性能は、最近のベースライン（例：Transformer、GPT-2）と比べて自動指標と人間評価の観点でどうか？
• RQ5 このデータセットにおける自動指標と人間評価の関係はどうなるか？

主な発見

• Taskmaster-1 は6つの領域にまたがる13,215の対話を含み、話し言い対話が5,507件、書かれた対話が7,708件。
• 2人の WOz 対話とセルフダイアログは、モデリングのための言語的特徴と難易度が異なることを示す。セルフダイアログはより多様で自動的なモデリングが難しい。
• 本データセットは MultiWOZ よりも固有語彙と現実世界の固有名詞が多く、セルフダイアログは MultiWOZ より高いパープレキシティと低い BLEU を示し、モデリングの難易度が大きいことを示唆する。
• Transformer ベースのモデルは自己対話において報告されたアーキテクチャの中で最も良い自動評価（PPLと BLEU）を達成し、ランキングにおいて人間評価と高い整合性を示す。
• API-引数注釈（ accept/reject マーカーを含む）は、複数サービスのシナリオに適した単純なグラウンディング方式を提供し、注釈を効率化する。
• コピー機能を備えた Transformer 変種は API-引数予測精度を向上させる（Transformer 51.79% 対 Transformer 48.73%）。