[論文レビュー] AllWOZ: Towards Multilingual Task-Oriented Dialog Systems for All

Lei Zuo, Kun Qian+2 more|arXiv (Cornell University)|Dec 15, 2021

Topic Modeling被引用数 11

ひとこと要約

本論文では、英語、中国語、韓国語、ベトナム語、ヒンディー語、フランス語、ポルトガル語、タイ語の8言語をカバーする多言語対話データセットAllWOZを紹介する。このデータセットは、高品質な機械翻訳と人的な後処理によって収集されたもので、mT5を用いたメタラーニングと少サンプル微調整により、特にタイ語やポルトガル語のような低リソース言語において、ゼロショットおよび少サンプル性能が顕著に向上することが示された。

ABSTRACT

A commonly observed problem of the state-of-the-art natural language technologies, such as Amazon Alexa and Apple Siri, is that their services do not extend to most developing countries' citizens due to language barriers. Such populations suffer due to the lack of available resources in their languages to build NLP products. This paper presents AllWOZ, a multilingual multi-domain task-oriented customer service dialog dataset covering eight languages: English, Mandarin, Korean, Vietnamese, Hindi, French, Portuguese, and Thai. Furthermore, we create a benchmark for our multilingual dataset by applying mT5 with meta-learning.

研究の動機と目的

• 低リソース言語、特に発展途上国における多言語対話型対話データセットの不足を解消すること。
• 現在世界の94％の人々が排除されている仮想アシスタントなどのNLP技術の言語的障壁を克服すること。
• 共通する文法的構造を活用することで、言語間で一般化可能な多言語対話システムの開発。
• メタラーニングを用いた少サンプルおよびゼロショット学習のベンチマークを提供すること。
• カスタマーサービス応用を想定した、高品質で多言語対応のデータセットを構築することで、NLP技術のアクセス性を拡大すること。

提案手法

• 著者らはMultiWOZ 2.2から100件の対話を収集し、ドメインとスロットの分布を維持することで代表的なデータセットを確保した。
• 初期の機械翻訳にはGoogle翻訳を用い、その後ネイティブスピーカーによる人的な後処理を実施し、スムーズな表現とエンティティの一貫性を確保した。
• mT5に基づくメタラーニングフレームワークを用いて、複数言語にわたる微調整を実施し、低リソース環境への適応を可能にした。
• 本手法は、言語間で共有される文法的構造を活用することで、ゼロショットおよび少サンプル一般化性能を向上させる。
• ベンチマークでは3つのモデルを評価した：通常の微調整、英語事前学習を用いた微調整、複数言語を同時に最適化するメタラーニング手法（DAML）。
• 学習スキームは少サンプル適応を採用しており、モデルは小規模な並列多言語対話セットを微調整することで、言語間転送性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 機械翻訳と人的な後処理を用いて、低リソース言語向けに効果的な多言語対話データセットを構築できるか？
• RQ2 mT5を用いたメタラーニングは、標準的な微調整と比較して、多言語対話型対話システムにおける少サンプル性能を向上させるか？
• RQ3 英語データでの事前学習が、タイ語やポルトガル語のような低リソース言語に効果的に知識を転送できるか？
• RQ4 DAMLメタラーニング手法は、標準的な事前学習および通常の微調整と比較して、ゼロショットおよび少サンプル一般化性能において優れているか？
• RQ5 言語間で共有される文法的構造が、低リソース環境におけるモデル性能にどの程度寄与するか？

主な発見

• 英語のMultiWOZデータでの事前学習により、8言語中7言語でBLEUスコアが向上し、8言語中6言語でスロット正確度が向上した。これは、英語対話知識の転送可能性を示している。
• DAMLメタラーニング手法は、タイ語およびポルトガル語において、通常の微調整および英語事前学習よりも優れた性能を示し、少サンプル設定でより高いBLEUスコアとスロット正確度を達成した。
• タイ語では、「通常の微調整＋英語事前学習」設定が通常の微調整よりも性能が劣った。これは、タイ語と英語との間で構造的差異が学習転送を妨げたことを示している。
• DAMLモデルは8言語中6言語でBLEUスコアを向上させ、8言語中5言語でスロット正確度を向上させた。これは、複数言語にわたる共同学習の有効性を示している。
• 平均してDAMLモデルは、全言語で13.59のBLEUスコア、27.13％のインフォームレート、5.25％のスロット正確度、71.96％の成功確率を達成し、通常および事前学習ベースラインを上回った。
• 結果から、メタラーニングによる共通する文法的構造の活用が、特に低リソース環境において少サンプル一般化性能を顕著に向上させることを確認した。