[論文レビュー] Multilingual Synthetic Question and Answer Generation for Cross-Lingual Reading Comprehension.

Siamak Shakeri, Noah Constant+2 more|arXiv (Cornell University)|Oct 22, 2020

Topic Modeling参考文献 10被引用数 7

ひとこと要約

本論文では、自動翻訳された英語データを活用することで、ターゲット言語における人為的アノテーションを不要にし、大規模な多言語QAペアを生成する1つの生成モデルを提案する。この手法により、合成データ拡張を通じて複数のデータセットで多言語QAのパフォーマンスが顕著に向上する。

ABSTRACT

We propose a simple method to generate large amounts of multilingual question and answer pairs by a single generative model. These synthetic samples are then applied to augment the available gold multilingual ones to improve the performance of multilingual QA models on target languages. Our approach only requires existence of automatically translated samples from English to the target domain, thus removing the need for human annotations in the target languages. Experimental results show our proposed approach achieves significant gains in a number of multilingual datasets.

研究の動機と目的

• 低リソース言語における多言語QAアノテーションの不足に対処すること。
• 多言語QAにおけるターゲット言語の高コストな人為的アノテーションデータに依存しないようにすること。
• 英語翻訳から生成された合成データを用いて、多言語読解パフォーマンスを向上させること。
• 多言語QAデータ生成のためのスケーラブルで単一モデルのアプローチを開発すること。

提案手法

• 1つの生成モデルを英語QAペアで学習させ、合成された多言語QAサンプルを生成する。
• 入力として自動翻訳された英語データを用い、ターゲット言語での質問と回答を生成する。
• 英語からターゲット言語への翻訳または逆翻訳された訓練データを微調整することで、合成サンプルを作成する。
• 生成された合成データを既存の高品質な多言語データと組み合わせ、訓練データを拡張する。
• データ作成に人為的アノテーションを一切使用せず、機械翻訳に依存する。
• 最終的なモデルは、合成データと高品質データを組み合わせたデータで微調整され、ゼロショットおよびフェイシュートの多言語転移性能が向上する。

実験結果

リサーチクエスチョン

• RQ1 人為的アノテーションなしに、1つの生成モデルが高品質な多言語QAペアを生成できるか？
• RQ2 翻訳された英語データから生成された合成データは、多言語QAパフォーマンスの向上にどの程度効果的か？
• RQ3 合成サンプルによるデータ拡張は、ゼロショットおよびフェイシュートの多言語転移性能をどの程度向上させるか？
• RQ4 この手法は、多様な多言語QAデータセットおよび低リソース言語に一般化可能か？

主な発見

• 提案手法は、自動翻訳された英語データのみを用いて、複数の多言語QAベンチマークで顕著なパフォーマンス向上を達成した。
• 高品質データが乏しい低リソース言語環境でも、合成データ生成がモデルパフォーマンスの向上に寄与した。
• ターゲット言語における高価な人為的アノテーションに依存を減らしながら、モデルの正確性を維持または向上させた。
• 本手法は、多様な言語およびデータセットにおいて、強力なゼロショットおよびフェイシュート一般化性能を示した。