[論文レビュー] RiSAWOZ: A Large-Scale Multi-Domain Wizard-of-Oz Dataset with Rich Semantic Annotations for Task-Oriented Dialogue Modeling

Jun Quan, Shian Zhang+3 more|arXiv (Cornell University)|Oct 17, 2020

Topic Modeling参考文献 26被引用数 5

ひとこと要約

RiSAWOZ は、12 のドメインにまたがる 11,200 件のヒューマン・ツー・ヒューマン対話から構成され、会話状態、会話行動、省略、共参照を含む豊富な意味的・言語的アノテーションを備えた大規模かつマルチドメインの中国語 Wizard-of-Oz データセットである。これはタスク指向対話システムのベンチマークを可能にし、エンド・ツー・エンド モデルを用いて共参照解消で平均 84.49% の F1 スコア、統合された省略と共参照解消で 78.14% の Resolution_F1 を達成した。

ABSTRACT

In order to alleviate the shortage of multi-domain data and to capture discourse phenomena for task-oriented dialogue modeling, we propose RiSAWOZ, a large-scale multi-domain Chinese Wizard-of-Oz dataset with Rich Semantic Annotations. RiSAWOZ contains 11.2K human-to-human (H2H) multi-turn semantically annotated dialogues, with more than 150K utterances spanning over 12 domains, which is larger than all previous annotated H2H conversational datasets. Both single- and multi-domain dialogues are constructed, accounting for 65% and 35%, respectively. Each dialogue is labeled with comprehensive dialogue annotations, including dialogue goal in the form of natural language description, domain, dialogue states and acts at both the user and system side. In addition to traditional dialogue annotations, we especially provide linguistic annotations on discourse phenomena, e.g., ellipsis and coreference, in dialogues, which are useful for dialogue coreference and ellipsis resolution tasks. Apart from the fully annotated dataset, we also present a detailed description of the data collection procedure, statistics and analysis of the dataset. A series of benchmark models and results are reported, including natural language understanding (intent detection & slot filling), dialogue state tracking and dialogue context-to-text generation, as well as coreference and ellipsis resolution, which facilitate the baseline comparison for future research on this corpus.

研究の動機と目的

• 中国語における大規模でマルチドメインかつ人間がアノテートしたタスク指向対話データセットの不足を解消すること。
• 詳細な言語的アノテーションを通じて、省略や共参照などの話法現象を捉えることで、対話モデリングを向上させること。
• NLU、DST、応答生成、共参照解消を含む複数の対話サブタスクの包括的ベンチマークを提供すること。
• 広範なドメインカバレッジと豊富なアノテーションのおかげで、ドメイン適応、ゼロショット学習、対話要約に関する研究を支援すること。

提案手法

• データセットは、実際のヒューマン・ユーザーと、システムを模倣するヒューマン・オペレーターを用いた Wizard-of-Oz の設定で収集された。
• 各対話は、自然言語で記述された対話の目的、ドメイン、ユーザーおよびシステム側の対話状態と会話行動について手作業でアノテートされた。
• 言語的アノテーションを適用して、省略や共参照現象を特定し、話法レベルの分析を可能にした。
• ベンチマーク用モデルは、意図検出、スロットフィルティング、対話状態追跡、応答生成、共参照／省略解消の 5 つのコアタスクで訓練および評価された。
• e2e-coref や GECOR といったエンド・ツー・エンド モデルを用いて共参照および統合された省略／共参照解消を実行し、fastText 埋め込みと注目メカニズムを活用した。
• 評価には、MUC、B3、CEAF φ4 F1、BLEU、および公式 CoNLL-2012 スクリプトを用いた正確一致（EM）といった標準的な指標が用いられた。

実験結果

リサーチクエスチョン

• RQ1 大規模でマルチドメインかつ人間がアノテートした対話データセットは、タスク指向対話システムのロバストネスと一般化性能をどのように向上させるか？
• RQ2 省略や共参照といった言語的アノテーションは、対話理解および生成モデルの性能をどの程度向上させるか？
• RQ3 外部の句構造解析器を用いずに、エンド・ツー・エンド モデルがマルチドメイン・マルチターン対話における共参照および省略を効果的に解消できるか？
• RQ4 ドメインの不均衡やクロスドメイン共参照は、対話共参照解消モデルの性能にどのように影響を与えるか？

主な発見

• RiSAWOZ には、12 のドメインにまたがる 11,200 件の対話と 150,000 を超える発話が含まれており、これまでにない最大規模の完全アノテート済み H2H タスク指向対話データセットである。
• e2e-coref モデルは、全データで平均 84.49% の F1 スコアを達成し、マルチドメイン対話では 80.60% を記録した。これは、クロスドメインの複雑さにもかかわらず、強力な性能を示している。
• GECOR モデルは、統合された省略と共参照解消タスクで 58.26% の正確一致、87.50% の BLEU スコア、78.14% の Resolution_F1 を達成し、文化的に完全な発話を生成する有効性を示した。
• このデータセットは、広範なドメインカバレッジと豊富なアノテーションのおかげで、対話ポリシー学習、自然言語生成、ユーザーサイミュレーション、ドメイン適応といった多様な研究タスクを支援できる。
• 言語的アノテーションから、省略や共参照のような話法現象がマルチターン対話において広く見られることが明らかになった。これは、対話モデリングにおいてこれらの現象の重要性を強調している。