[論文レビュー] GlobalWoZ: Globalizing MultiWoZ to Develop Multilingual Task-Oriented Dialogue Systems

Bosheng Ding, Junjie Hu+5 more|arXiv (Cornell University)|Oct 14, 2021

Speech and dialogue systems被引用数 9

ひとこと要約

この論文では、MultiWoZの対話テンプレートを20か国語に翻訳し、ターゲット言語圏の現地に適したエンティティで埋めることで作成された大規模な多言語対話データセット、GlobalWoZを紹介する。この手法により、未検討の3つのユースケース（F&F、F&E、E&F）における現実的なゼロショット多言語間転送が可能となり、直接翻訳ベースラインと比較して、局所化されたエンティティを用いた学習が対話状態追跡性能を顕著に向上させることを示している。

ABSTRACT

Much recent progress in task-oriented dialogue (ToD) systems has been driven by available annotation data across multiple domains for training. Over the last few years, there has been a move towards data curation for multilingual ToD systems that are applicable to serve people speaking different languages. However, existing multilingual ToD datasets either have a limited coverage of languages due to the high cost of data curation, or ignore the fact that dialogue entities barely exist in countries speaking these languages. To tackle these limitations, we introduce a novel data curation method that generates GlobalWoZ -- a large-scale multilingual ToD dataset globalized from an English ToD dataset for three unexplored use cases. Our method is based on translating dialogue templates and filling them with local entities in the target-language countries. We release our dataset as well as a set of strong baselines to encourage research on learning multilingual ToD systems for real use cases.

研究の動機と目的

• 現実世界の多言語対話旅行シナリオを反映しない現実的な多言語対話（ToD）データセットの不足を解消すること。
• 英語のみを対象としたり、エンティティを翻訳するだけで局所化を行わない既存のデータセットの限界を克服し、現実世界への応用性を向上させること。
• 機械翻訳と現地のエンティティ抽出を用いて、英語のToDデータセット（MultiWoZ）を20か国語にグローバル化するコスト効率の良いデータキュレーション手法を提案すること。
• 多言語事前学習モデルが、新規データセット上でゼロショットおよびフェイシュート多言語間転送にどの程度効果的に一般化できるかを評価すること。
• GlobalWoZと強力なベースラインを公開し、現実世界への展開を想定した多言語ToDシステム分野の研究を前進させること。

提案手法

• ニューラル機械翻訳を用いて、MultiWoZの対話テンプレートを20か国語に翻訳する。
• クロールしたオントロジーと現地の知識ソースを用いて、英語の固有名称エンティティをターゲット言語圏に適したエンティティに置き換える。
• 流暢さと正確性を保証するため、最小限の人的後処理（数百分のテンプレート）を実施する。
• 3つの異なるユースケースシナリオを構築する：F&F（外国語話者が外国にいる場合）、F&E（外国語話者が英語圏にいる場合）、E&F（英語話者が外国にいる場合）、従来のE&Eケースとは異なる。
• 新規データセット上でゼロショットおよびフェイシュート多言語間転送設定を用いて、多言語ToDモデルを学習・評価する。
• Spearmanの順位相関を用いて、MT（機械翻訳）とMTPE（後処理付き機械翻訳）のテストセット間でのモデル性能の一貫性を検証する。

実験結果

リサーチクエスチョン

• RQ1 従来のE&Eケースと比較して、異なる多言語間ユースケース（F&F、F&E、E&F）における多言語ToDモデルの性能はどのように変化するか？
• RQ2 エンティティの直接翻訳と比較して、ターゲット言語で現実の局所的エンティティを用いることで、対話状態追跡の正確性はどの程度向上するか？
• RQ3 多言語事前学習モデルは、GlobalWoZのようなグローバルにキュレートされたデータセット上で、ゼロショット多言語間転送に効果的に一般化できるか？
• RQ4 スクリプトタイプ（例：ラテン文字 vs. 非ラテン文字）が、異なるスクリプトにエンティティと文脈が存在する場合にモデル性能にどのように影響するか？
• RQ5 タイ語やベトナム語のような低リソース言語における失敗モードは何か、それらがモデル性能にどのように影響するか？

主な発見

• SUCベースラインは中国語F&Fテストデータで36.97％の共同正解率を達成し、ゼロショットE&Eベースライン（1.22％）およびTranslate-Train（2.61％）を著しく上回り、局所化されたエンティティの重要性を示している。
• F&Eユースケースでは、SUCがスペイン語テストデータで56.28％の共同正解率を達成し、ゼロショットベースライン（6.92％）およびTranslate-Train（2.28％）を大きく上回り、現地エンティティの学習による利点を確認している。
• タイ語やベトナム語では、発音記号の予測に失敗したため、性能が著しく低下（例：E&Fでタイ語で3.06％）しており、後処理や特化したモデルの導入が求められている。
• MTとMTPEテスト結果間のSpearman相関は、全言語で1.00であったため、モデルランクの一貫性と評価設定の信頼性が裏付けられた。
• 同じスクリプト（例：ラテン文字）にエンティティと文脈が存在する場合、局所化されたエンティティを用いた学習が局所化された文脈よりも効果的であったが、スクリプトが異なると局所化された文脈の重要性が顕著に高まり、スクリプトの整合性の役割が浮き彫りになった。
• MBUC手法は英語のF2Eケースで60.48％の共同正解率を達成し、SUC（57.10％）およびBBUC（59.05％）を上回り、ゼロショット設定におけるより高いロバスト性を示した。