[論文レビュー] MultiWOZ -- A Large-Scale Multi-Domain Wizard-of-Oz Dataset for Task-Oriented Dialogue Modelling

Paweł Budzianowski, Tsung-Hsien Wen+5 more|arXiv (Cornell University)|Sep 29, 2018

Topic Modeling被引用数 4

ひとこと要約

この論文は、8,438件のヒューマン・ヒューマン対話が含まれる大規模かつ完全にアノテートされたマルチドメインのタスク指向対話データセット、MultiWOZを紹介している。このデータセットは信念状態と対話行動をアノテートしており、信念トラッキング、対話行動予測、応答生成のベンチマークが可能である。報告されたベースラインでは、言語的多様性とマルチドメインの複雑さのため、顕著な課題が示されている。

ABSTRACT

Even though machine learning has become the major scene in dialogue research community, the real breakthrough has been blocked by the scale of data available. To address this fundamental obstacle, we introduce the Multi-Domain Wizard-of-Oz dataset (MultiWOZ), a fully-labeled collection of human-human written conversations spanning over multiple domains and topics. At a size of $10$k dialogues, it is at least one order of magnitude larger than all previous annotated task-oriented corpora. The contribution of this work apart from the open-sourced dataset labelled with dialogue belief states and dialogue actions is two-fold: firstly, a detailed description of the data collection procedure along with a summary of data structure and analysis is provided. The proposed data-collection pipeline is entirely based on crowd-sourcing without the need of hiring professional annotators; secondly, a set of benchmark results of belief tracking, dialogue act and response generation is reported, which shows the usability of the data and sets a baseline for future studies.

研究の動機と目的

• エンドツーエンドおよびモジュラー対話システムの学習とベンチマークに用いることのできる、大規模で多様性に富み、完全にアノテートされたタスク指向対話データセットの不足を解消すること。
• 専門的なアノテーターを必要とせず、高品質なアノテーションを維持できるスケーラブルなクラウドソーシングベースのデータ収集パイプラインの開発。
• 複雑でマルチドメインの対話における信念トラッキング、対話行動予測、応答生成の包括的ベンチマークの提供。
• 従来のコーパスよりも1桁大きい規模のデータセットを提供することで、エンドツーエンド対話モデリングの研究を可能にすること。
• 複数のドメインおよび言語的変異をカバーする、より困難なテストベッドとしての役割を果たすこと。

提案手法

• 1人の参加者（ユーザー）が別の参加者（システム）と対話することで、現実のタスク指向対話を模倣するクラウドソーシングベースのウィザード・オブ・オズ（Wizard-of-Oz）データ収集パイプラインを採用。
• 各対話を構造化された信念状態（スロット-値ペア）とシステムの対話行動（例：inform, request, recommend）でアノテート。
• レストラン、ホテル、タクシーなど7つのドメインで対話を収集し、24の信念状態スロットと4,510のユニークなスロット値を含む。
• 2段階のアノテーションプロセスを実装：まず、クラウドワーカーを介して対話を収集し、次に構造化されたアノテーションインターフェースを用いて信念状態と対話行動をラベル付け。
• アノテーション品質と一貫性を保証するための検証およびフィルタリングパイプラインを実装。
• アテンション機構を備えたシーケンス・トゥ・シーケンスモデルを用いて、信念トラッキング、対話行動分類、応答生成のベースラインモデルを提供。

実験結果

リサーチクエスチョン

• RQ1 専門的なアノテーターを一切使わず、クラウドソーシングのみで、大規模でマルチドメインのマルチターン対話データセットをどのように効率的に収集できるか。
• RQ2 このデータセットの言語的多様性とマルチドメイン性は、既存の信念トラッキングおよび応答生成モデルにどの程度の挑戦をもたらすか。
• RQ3 現在の最先端モデルは、単一ドメインのベンチマークと比較して、マルチドメインで高変動性を示すコーパス上でどの程度の性能を示すか。
• RQ4 MultiWOZの規模と複雑さはエンドツーエンド対話学習を可能にすることができ、モジュラーアプローチと比較してどのように異なるか。
• RQ5 マルチドメイン環境における構造化された対話行動からの自然言語生成における主な課題は何か。

主な発見

• MultiWOZには113,556ターンを含む8,438件の対話が含まれており、これは従来の完全にアノテートされたタスク指向データセットよりも少なくとも1桁大きい規模である。
• 24の信念状態スロットと4,510のユニークなスロット値を有し、60％を超える対話ターンで少なくとも2つのシステム対話行動が関与しており、複雑性が増している。
• ベースラインの信念トラッキングモデルでは、MultiWOZで71.29％のInformと60.29％のSuccessを達成したが、Cam676コーパスの99.17％と75.08％と比較して顕著に低い水準であり、困難さが示された。
• MultiWOZにおける応答生成のBLEUスコアは0.189（アテンション付き）であり、SFXデータセットの0.731と比較して著しく低く、言語的多様性が高いためである。
• レストランサブセットにおける応答生成のスロット誤り率（SER）は4.378％であり、SFXの0.46％と比較して顕著に高い。これは、データセットの困難さが裏付けられている。
• アテンション機構による改善が見られたが、MultiWOZとより小さい単純なデータセットとの間で性能格差は依然として大きく、より強固なモデルの開発が求められている。