[論文レビュー] Bilex Rx: Lexical Data Augmentation for Massively Multilingual Machine Translation

Alex K. Jones, Isaac Caswell+2 more|arXiv (Cornell University)|Mar 27, 2023

Natural Language Processing Techniques被引用数 5

ひとこと要約

本稿では、高品質な二語対訳語彙を集約して学習に統合することにより、多言語ニューラル機械翻訳（NMT）の性能を著しく向上させる、Bilex Rx と呼ばれる語彙的データ拡張手法を提案する。単語レベルの翻訳を精査済みの語彙でモノリンガルおよび並列モノリンガルデータに拡張することで、特に低リソース言語およびゼロショット言語において顕著な性能向上を達成した。この手法は、わずかで正確に精査された語彙ですら、大規模でノイズの多い語彙を上回ることを示しており、モデルサイズにかかわらずスケーラブルであり、他の拡張手法とも組み合わせ可能である。

ABSTRACT

Neural machine translation (NMT) has progressed rapidly over the past several years, and modern models are able to achieve relatively high quality using only monolingual text data, an approach dubbed Unsupervised Machine Translation (UNMT). However, these models still struggle in a variety of ways, including aspects of translation that for a human are the easiest - for instance, correctly translating common nouns. This work explores a cheap and abundant resource to combat this problem: bilingual lexica. We test the efficacy of bilingual lexica in a real-world set-up, on 200-language translation models trained on web-crawled text. We present several findings: (1) using lexical data augmentation, we demonstrate sizable performance gains for unsupervised translation; (2) we compare several families of data augmentation, demonstrating that they yield similar improvements, and can be combined for even greater improvements; (3) we demonstrate the importance of carefully curated lexica over larger, noisier ones, especially with larger models; and (4) we compare the efficacy of multilingual lexicon data versus human-translated parallel data. Finally, we open-source GATITOS (available at https://github.com/google-research/url-nlp/tree/main/gatitos), a new multilingual lexicon for 26 low-resource languages, which had the highest performance among lexica in our experiments.

研究の動機と目的

• 多言語語彙に基づく語彙的データ拡張が、大規模な多言語環境下における非教師あり翻訳および低リソース翻訳の性能向上に寄与するかどうかを調査すること。
• 実世界のウェブクロールドで得た大規模多言語学習環境において、多言語語彙に基づくさまざまなデータ拡張戦略の有効性を比較すること。
• モデルサイズが拡大するに従い、語彙の品質と量のどちらがより重要であるかを評価すること。
• 低リソース翻訳シナリオにおいて、多言語語彙データと人間翻訳済み並列データの有効性をベンチマークすること。
• 今後の研究を支援するため、26の低リソース言語をカバーする高品質な多言語語彙 GATITOS を公開すること。

提案手法

• 大規模でノイズの多い語彙（例：Panlex）と、小規模で精査済みの語彙を含む多言語語彙から得た単語レベルの翻訳を、モノリンガルおよび並列学習データに統合する。
• 複数のデータ拡張バリエーションを適用する：語彙の直接統合、語彙から得た並列ペアを用いたバックトランスレーション、複数戦略を組み合わせたハイブリッド手法。
• 共有エンコーダ・共有デコーダアーキテクチャを用いて、ウェブクロールドのモノリンガルおよび並列コーパス上で200言語のNMTモデルを学習し、語彙的拡張あり・なしの両方で比較する。
• クロスリンガル文埋め込み表現を用いてモノリンガルデータから並列文対（bitext）を抽出し、語彙的拡張データと統合して共同学習を実施する。
• FLORES-200ベンチマークを用い、CHRF++スコアで性能を評価し、高リソース・低リソース・ゼロショット言語ペアの間でモデルを比較する。
• 26の低リソース言語をカバーする精査済み多言語語彙 GATITOS をオープンソース化し、専門家およびモデルベースのフィルタリングにより高品質な翻訳を保証する。

実験結果

リサーチクエスチョン

• RQ1 二語対訳語彙に基づく語彙的データ拡張は、非教師ありおよび低リソース翻訳において測定可能な性能向上をもたらすか？
• RQ2 語彙に基づくさまざまなデータ拡張戦略の性能向上度とスケーラビリティは、どのように比較できるか？
• RQ3 特に大規模モデルにおいて、語彙の品質がそのサイズよりも重要であるか？
• RQ4 バックトランスレーションや並列文対抽出といった他のデータ拡張手法と、語彙的拡張を効果的に組み合わせられるか？
• RQ5 低リソース言語翻訳において、多言語語彙データは人間翻訳済み並列データに比べてどれほど有効か？

主な発見

• 二語対訳語彙に基づく語彙的データ拡張は、すべての言語タイプにおいて顕著かつ一貫した性能向上をもたらし、特に低リソースおよびゼロショット設定で最大の向上が観察された。
• 小規模で正確に精査された語彙は、大規模でノイズの多い語彙を上回り、モデルサイズが拡大するに従いその差が顕著になる。これは、データ品質がボリュームよりも重要であることを示唆している。
• 直接統合、バックトランスレーション、ハイブリッド手法といった複数の拡張戦略は、同程度の向上をもたらし、組み合わせることでさらなる改善が得られた。
• 本研究で開発した26の低リソース言語向け GATITOS 語彙は、実験でテストされたすべての語彙の中で最高の性能を示した。
• 語彙的拡張による向上はスケーラブルかつ一般化可能であり、高リソース・低リソース・ゼロショット言語ペアのすべてで一貫した改善が得られた。