[論文レビュー] MDIA: A Benchmark for Multilingual Dialogue Generation in 46 Languages

Qingyu Zhang, Xiaoyu Shen+3 more|arXiv (Cornell University)|Aug 27, 2022

Topic Modeling被引用数 9

ひとこと要約

本稿では、2020年のReddit会話から得られた46言語（19の言語族に跨る）をカバーする大規模な多言語対話生成ベンチマーク、mDIAを紹介する。mT5およびDialoGPTモデルの微調整を評価した結果、mT5ベースのモデルはより高い関連性（sacreBLEU、BertScore）を示すが、多様性は低い。英語と低リソース言語の間には顕著な性能差が見られ、少サンプルおよびゼロショット一般化の可能性は示唆されたが、依然として大きなギャップが存在する。

ABSTRACT

Owing to the lack of corpora for low-resource languages, current works on dialogue generation have mainly focused on English. In this paper, we present mDIA, the first large-scale multilingual benchmark for dialogue generation across low- to high-resource languages. It covers real-life conversations in 46 languages across 19 language families. We present baseline results obtained by fine-tuning the multilingual, non-dialogue-focused pre-trained model mT5 as well as English-centric, dialogue-focused pre-trained chatbot DialoGPT. The results show that mT5-based models perform better on sacreBLEU and BertScore but worse on diversity. Even though promising results are found in few-shot and zero-shot scenarios, there is a large gap between the generation quality in English and other languages. We hope that the release of mDIA could encourage more works on multilingual dialogue generation to promote language diversity.

研究の動機と目的

• 特に低リソース言語を含む、多言語オープンドメイン対話生成のための大規模かつ統一されたベンチマークの不足に対処すること。
• 多様な言語およびリソースレベルをカバーする対話生成モデルの比較評価を可能にする標準化されたフレームワークを提供すること。
• 低リソース環境における多言語事前学習および微調整戦略の有効性を調査すること。
• 高リソース言語（例：英語）と低リソース言語の間の生成品質の差を浮き彫りにすること。
• 言語族を越えた言語間対話移譲およびモデル一般化に関する研究を促進すること。

提案手法

• 2020年1年間分のRedditトラフィックから実際の会話を収集し、46言語（19の言語族に跨る）をカバーする。
• 各言語の会話交換数を最大12,000件に制限し、低リソース状況を模擬する。
• 101言語で事前学習された多言語で、対話に最適化されていないmT5を、対話生成用に微調整する。
• 英語中心で対話に特化したDialoGPTを多言語データで微調整し、ゼロショットおよび少サンプル移譲を評価する。
• 低リソース言語の訓練データ拡張のために、MarianMTを用いた多言語翻訳を実施する。
• sacreBLEU、BERTScore（B-2、B-4）、および多様性指標（Distinct-2、Distinct-4、エントロピー）を用いてモデルを評価する。

実験結果

リサーチクエスチョン

• RQ1 mT5のような多言語モデルとDialoGPTのような英語特化モデルは、リソースレベルが異なる46言語の対話生成において、どのように性能を発揮するか？
• RQ2 1つの多言語モデルが、ゼロショットまたは少サンプル設定で未観測言語にどの程度一般化できるか？
• RQ3 多言語対話生成において、応答の関連性と多様性のトレードオフはどのようなものか？
• RQ4 混合言語データでの微調整は、高リソースおよび低リソース言語の両方の性能にどのように影響するか？
• RQ5 多言語対話生成において、英語と他の言語との間にどのような性能ギャップが存在するか？

主な発見

• mT5ベースのモデルは、すべての言語でsacreBLEUおよびBERTScoreにおいてDialoGPTベースのモデルを上回り、応答の関連性が優れていることが示された。
• より高い関連性を示す一方で、mT5ベースのモデルは、Distinct-2およびDistinct-4スコアが低いため、応答の多様性に欠けている。
• DialoGPTベースのモデルは多様性が高く、特に低リソース言語では関連性が低く、性能が劣る。
• 1つの多言語mT5モデルは、未観測言語に効果的に一般化でき、混合言語環境でも有効な応答を生成できる。
• 英語と他の言語との間には顕著な性能ギャップが残っており、すべての指標で英語の生成品質が著しく他の言語を上回っている。
• 低リソース言語は多言語データでの微調整によりわずかに向上するが、高リソース言語はこのような微調整の影響をほとんど受けていない。