[論文レビュー] MultiWOZ 2.2 : A Dialogue Dataset with Additional Annotation Corrections and State Tracking Baselines

Xiaoxue Zang, Abhinav Rastogi+4 more|arXiv (Cornell University)|Jul 10, 2020

Topic Modeling参考文献 16被引用数 26

ひとこと要約

本稿では、修正されたアノテーションエラー、ユーザー発話およびシステム発話における標準化されたスロットスパンアノテーション、および高基数スロットを除外した洗練されたオントロジー定義を備えた、MultiWOZ 2.1の改善版であるMultiWOZ 2.2を紹介する。本稿では最先端の対話状態追跡（DST）モデルをベンチマーク化し、MultiWOZ 2.1と2.2の間で一貫した性能を示しており、より公平なモデル比較と未観測スロット値への一般化の向上を可能にしている。

ABSTRACT

MultiWOZ is a well-known task-oriented dialogue dataset containing over 10,000 annotated dialogues spanning 8 domains. It is extensively used as a benchmark for dialogue state tracking. However, recent works have reported presence of substantial noise in the dialogue state annotations. MultiWOZ 2.1 identified and fixed many of these erroneous annotations and user utterances, resulting in an improved version of this dataset. This work introduces MultiWOZ 2.2, which is a yet another improved version of this dataset. Firstly, we identify and fix dialogue state annotation errors across 17.3% of the utterances on top of MultiWOZ 2.1. Secondly, we redefine the ontology by disallowing vocabularies of slots with a large number of possible values (e.g., restaurant name, time of booking). In addition, we introduce slot span annotations for these slots to standardize them across recent models, which previously used custom string matching heuristics to generate them. We also benchmark a few state of the art dialogue state tracking models on the corrected dataset to facilitate comparison for future work. In the end, we discuss best practices for dialogue data collection that can help avoid annotation errors.

研究の動機と目的

• MultiWOZ 2.1における継続的なアノテーションエラーおよび不整合、特に対話状態追跡アノテーションに関する問題を解決すること。
• モデル間での一貫性ある評価を可能にするために、ユーザー発話およびシステム発話のスロットスパンアノテーションを標準化すること。
• 高基数スロット（例：レストラン名、予約時間）を除外し、スパンベースの値ロケーションを導入することで、オントロジーを再定義すること。
• ユーザーの意図と要求スロットを各ユーザー発話ごとにアノテートすることで、ユーザー主導の対話フローのモデリングを向上させること。
• 修正済みデータセット上で最先端のDSTモデルをベンチマーク化し、公平な性能比較を可能にすること。

提案手法

• 系統的なエラー検出と検証を通じて、MultiWOZ 2.1の発話の17.3％でアノテーションエラーを特定・修正した。
• 高基数スロット（例：名前、時間）を除外し、値を発話内に局所化するスロットスパンアノテーションを導入することで、オントロジーを再定義した。
• すべての非カテゴリカルスロット値が発話履歴に正確に現れるように、スロット値の表現を標準化した。
• ユーザー発話ごとにアクティブな意図と要求スロットをアノテートすることで、ユーザー主導の対話フローのモデリングを向上させた。
• 共同目標精度を主指標として用い、3つの最先端DSTモデル（TRADE、SGD-baseline、DS-DST）をMultiWOZ 2.2でベンチマーク化した。
• 論理的不整合や言い換えエラーの検出・是正を目的とした検証チェックとクラウドソーシングのフォローアップを実施した。

実験結果

リサーチクエスチョン

• RQ1 MultiWOZ 2.1に残存するアノテーションエラーの種類は何か？ また、それらは対話状態追跡性能にどのように影響するか？
• RQ2 スロットスパンアノテーションをモデル間でどのように標準化すれば、DSTにおける一貫性と一般化性を向上させられるか？
• RQ3 オントロジーやスロット値表現の修正が、モデルの公平性と一般化性をどの程度向上させるか？
• RQ4 最先端のDSTモデルは、修正済みのMultiWOZ 2.2においてMultiWOZ 2.1と比較してどのように性能を発揮するか？
• RQ5 タスク指向対話システムにおけるデータ収集・アノテーションの最良実践は何か？ これによりエラーを最小限に抑え、データセット品質を向上できるか？

主な発見

• MultiWOZ 2.2は、MultiWOZ 2.1の発話の17.3％でアノテーションエラーを是正し、データ品質を顕著に向上させた。
• ベンチマーク化された3つのモデル（TRADE、SGD-baseline、DS-DST）の共同目標精度は、MultiWOZ 2.1と2.2の間でほぼ同一であり、修正済みデータセットでも安定した性能を示している。
• TRADEはMultiWOZ 2.2で0.454の共同目標精度を達成し、MultiWOZ 2.1の0.460よりわずかに低く、修正による性能低下は最小限に抑えられている。
• 非カテゴリカルスロットはカテゴリカルスロット（0.628）よりも高い共同精度（例：TRADEでは0.666）を示しており、これは状態値と発話履歴の間の整合性が高いためと推察される。
• スパンアノテーションと標準化されたスロット定義の導入により、一貫性のある評価が可能になり、モデル間でのヒューリスティックな値マッチングへの依存が減少した。
• 本研究では、複雑な論理式（例：'cheap > moderate'）が稀（対話全体の1％未満）であることが判明し、今後のデータセットにおいてより表現力のある表現形式の必要性が浮き彫りになった。