[論文レビュー] MultiWOZ 2.1: A Consolidated Multi-Domain Dialogue Dataset with State Corrections and State Tracking Baselines

Mihail Eric, Rahul Goel+8 more|arXiv (Cornell University)|Jul 2, 2019

Topic Modeling参考文献 11被引用数 13

ひとこと要約

本稿では、対話状態アノテーションの修正とユーザ対話行動の強化を施した、MultiWOZ 2.0 データセットの見直され統合されたバージョンである MultiWOZ 2.1 を紹介する。クラウドソーシングによる再アノテーションと標準化を通じて、32% の状態アノテーションと 146 文の発話が修正され、最新のモデルで 3-5% の性能低下が生じた。これは、データ品質の向上に起因し、'dontcare' および 'none' ラベルのより良いモデリングの必要性を浮き彫りにしている。

ABSTRACT

MultiWOZ 2.0 (Budzianowski et al., 2018) is a recently released multi-domain dialogue dataset spanning 7 distinct domains and containing over 10,000 dialogues. Though immensely useful and one of the largest resources of its kind to-date, MultiWOZ 2.0 has a few shortcomings. Firstly, there is substantial noise in the dialogue state annotations and dialogue utterances which negatively impact the performance of state-tracking models. Secondly, follow-up work (Lee et al., 2019) has augmented the original dataset with user dialogue acts. This leads to multiple co-existent versions of the same dataset with minor modifications. In this work we tackle the aforementioned issues by introducing MultiWOZ 2.1. To fix the noisy state annotations, we use crowdsourced workers to re-annotate state and utterances based on the original utterances in the dataset. This correction process results in changes to over 32% of state annotations across 40% of the dialogue turns. In addition, we fix 146 dialogue utterances by canonicalizing slot values in the utterances to the values in the dataset ontology. To address the second problem, we combined the contributions of the follow-up works into MultiWOZ 2.1. Hence, our dataset also includes user dialogue acts as well as multiple slot descriptions per dialogue state slot. We then benchmark a number of state-of-the-art dialogue state tracking models on the MultiWOZ 2.1 dataset and show the joint state tracking performance on the corrected state annotations. We are publicly releasing MultiWOZ 2.1 to the community, hoping that this dataset resource will allow for more effective models across various dialogue subproblems to be built in the future.

研究の動機と目的

• 元の MultiWOZ 2.0 の対話状態アノテーションに存在するノイズと一貫性の欠如がモデル性能を妨える問題を解決すること。
• 複数の改変版が存在する問題を解消し、複数の改変版を統一された 1 つのリリースに統合すること。
• クラウドソーシングによるラベリングを用いて、32% の状態アノテーションの修正と 146 文の標準化を実施し、データ品質の向上を図ること。
• ゼロショットおよび低リソース NLU 機能の向上を目的として、ユーザ対話行動とスロットの説明を追加すること。
• 修正済みデータ上で最新のモデルを用いて強力な、更新されたベースラインを提供し、より公平な性能比較を可能にすること。

提案手法

• スロット値と状態アノテーションの誤りを是正するため、対話状態と発話をクラウドソーシングで再アノテーションした。
• スロット値をオントロジーに一致させるために標準化を適用し、語彙的ばらつきを低減した。
• 先行研究のフォローアップ作業から得られたユーザ対話行動と、1 スロットあたり複数のスロット説明を統合し、統一されたデータセットを構築した。
• 公式オントロジーと一致するようにスロット値を再構成することで、146 文の発話を是正し、一貫性を向上させた。
• 修正済みの MultiWOZ 2.1 データセット上で、5 つの最先端の対話状態追跡モデル（FJST, HJST, TRADE, DST Reader, HyST）をベンチマークした。
• 状態追跡のための対話履歴符号化戦略として、現在のターンまでに登場したすべての過去のユーザおよびシステム発話を含む方法を採用した。

実験結果

リサーチクエスチョン

• RQ1 MultiWOZ 2.0 のノイズの多い対話状態アノテーションを修正することで、最先端の対話状態追跡モデルの性能にどのような影響を与えるか？
• RQ2 ユーザ対話行動とスロット説明の追加が、マルチドメイン対話におけるモデルの一般化性能およびゼロショット学習に与える影響は何か？
• RQ3 なぜ修正済みの MultiWOZ 2.1 で評価した際に、すべてのモデルで一貫した性能低下が生じるのか？
• RQ4 'dontcare' および 'none' ラベルの修正が、曖昧なユーザの好みの学習難易度をどの程度向上させるか？
• RQ5 異なるモデルアーキテクチャ（例：階層型 vs. 扁平型）は、修正済みデータセットの複雑さの増加にどのように反応するか？

主な発見

• 全評価モデルの共同状態追跡性能は、MultiWOZ 2.1 において MultiWOZ 2.0 よりも低下した。特にフラット共同状態トラッカーは 40.2% から 38.0% に低下した。
• 性能低下の主な要因は、'dontcare' および 'none' ラベルの学習難易度の上昇に起因し、'dontcare' 予測の誤りが 2.25 倍に増加した。
• フラット共同状態トラッカーの新規エラーの 13.4% が、'dontcare' の誤った予測に起因しており、修正済みデータがユーザの曖昧さをより正確に捉えていることを示している。
• 439 件の新規エラー（全エラーの 32%）は、正しく 'none' である場合に値を予測したことに起因しており、データセットが不必要なスロットフィルを厳しく扱っていることを示している。
• スロット精度の低下が最も顕著に現れたのは 'restaurant.name'（87.02% から 83.33%）であり、主に正しくアノテートされた状態でのモデルの誤りに起因しており、名前抽出の困難さを示唆している。
• 性能低下にもかかわらず、修正済みデータは、データノイズによる誤りを分離できるより信頼性の高いベンチマークを提供しており、対話状態追跡モデルの評価に適している。