[論文レビュー] MultiWOZ 2.3: A multi-domain task-oriented dialogue dataset enhanced with annotation corrections and co-reference annotation

Ting Han, Ximing Liu+6 more|arXiv (Cornell University)|Oct 12, 2020

Topic Modeling参考文献 28被引用数 19

ひとこと要約

この論文は、訂正された会話行動および会話状態のアノテーションと、共参照解決を統合した洗練された多ドメインタスク指向対話データセットであるMultiWOZ 2.3を紹介する。不一致を統一し、共参照特徴を統合することで、会話状態追跡（DST）における性能が著しく向上し、SUMBTを用いた際の共同目標精度は54.6%に上昇し、TRADEを用いた際には49.9%に達する。これは以前のバージョンと比較して顕著な改善である。

ABSTRACT

Task-oriented dialogue systems have made unprecedented progress with multiple state-of-the-art (SOTA) models underpinned by a number of publicly available MultiWOZ datasets. Dialogue state annotations are error-prone, leading to sub-optimal performance. Various efforts have been put in rectifying the annotation errors presented in the original MultiWOZ dataset. In this paper, we introduce MultiWOZ 2.3, in which we differentiate incorrect annotations in dialogue acts from dialogue states, identifying a lack of co-reference when publishing the updated dataset. To ensure consistency between dialogue acts and dialogue states, we implement co-reference features and unify annotations of dialogue acts and dialogue states. We update the state of the art performance of natural language understanding and dialogue state tracking on MultiWOZ 2.3, where the results show significant improvements than on previous versions of MultiWOZ datasets (2.0-2.2).

研究の動機と目的

• MultiWOZデータセットにおける会話行動と会話状態の間の継続的なアノテーションの不整合を是正すること。
• 会話行動および状態アノテーションの誤りを是正することで、会話状態追跡（DST）の品質を向上させること。
• 人間の発話における代名詞や省略表現をその先行詞に結びつける共参照アノテーションを導入し、会話レベルの理解を向上させること。
• 会話行動と状態アノテーションを統一することで、タスク指向対話システムのためのより信頼性の高いベンチマークを確立すること。
• 改善されたデータ品質が、下流のNLUおよびDSTのパフォーマンスに測定可能な向上をもたらすことを示すこと。

提案手法

• MultiWOZ 2.1および2.2における誤った会話行動および会話状態アノテーションを特定し、不整合を是正した。
• ルールベースの前処理パイプラインを適用し、スロット値の不一致や会話行動内の誤ったスパンを修正した。
• 発話内の代名詞や省略表現をその先行詞に結びつけることで、共参照解決を実装した。
• 会話行動と会話状態アノテーションを統一し、両アノテーションレベル間の整合性を確保した。
• 会話レベルのモデリングを支援するため、コアフレンスに配慮したアノテーションをデータセットに追加した。
• 最新のモデル（SUMBTおよびTRADE）を更新されたデータセットで再評価し、性能向上を検証した。

実験結果

リサーチクエスチョン

• RQ1 会話行動と会話状態の間のアノテーションの不整合は、会話状態追跡性能にどのように影響するか？
• RQ2 共参照解決は、多ドメイン対話における会話状態追跡の正確性をどの程度向上させるか？
• RQ3 訂正済みかつ統一されたアノテーションを備えた洗練されたデータセットは、NLUおよびDSTベンチマークにおける測定可能な改善をもたらすか？
• RQ4 コアフレンスに配慮したアノテーションは、タスク指向対話システムにおける共同目標精度にどのような影響を与えるか？
• RQ5 MultiWOZ 2.3は、以前のバージョン（2.0〜2.2）と比較して、モデルの汎化性能および頑健性においてどのように異なるか？

主な発見

• SUMBTを用いた場合、MultiWOZ 2.3では共同目標精度が52.9%に達し、MultiWOZ 2.2の49.7%から顕著な向上を示した。
• 共参照アノテーションを導入したことで、SUMBTにおける共同目標精度は54.6%に上昇し、会話レベルモデリングの利点を実証した。
• TRADEモデルは、共参照強化済みデータセットで49.9%の共同目標精度を達成した。これはMultiWOZ 2.2の46.6%から上昇した。
• MultiWOZ 2.3で学習したBERTベースのNLUモデルは、以前のバージョンと比較してF1スコアおよび発話精度の両方で5%の向上を示した。
• DSTにおいて、コアフレンス特徴を備えたデータセットでは30スロット中17スロットで最高性能を記録し、24スロットで最高性能を記録した。これは広範な改善を示している。
• 「dontcare」スロット分類ゲートは、MultiWOZ 2.3では以前のバージョンと比較してF1スコアが9%以上上昇した。これはアノテーション品質の向上を裏付けている。