[論文レビュー] Low-Resource Machine Translation Training Curriculum Fit for Low-Resource Languages

Garry Kuwanto, Afra Feyza Akyürek+4 more|arXiv (Cornell University)|Mar 24, 2021

Natural Language Processing Techniques被引用数 5

ひとこと要約

この論文は、限られた並列データと計算リソースの下で、比較可能なWikipediaデータとコードスイッチングを活用した低計算量・弱教師ありトレーニングカリキュラムを提案し、低リソースニューラル機械翻訳（NMT）の性能を顕著に向上させる。同じ計算制約下で、英語→グジャラート語では+12.2 BLEU、英語→カザフ語では+3.7 BLEUの向上を達成し、教師ありNMTを上回り、スムーリング→英語の新しいSOTA BLEU29.3を達成した。

ABSTRACT

We conduct an empirical study of neural machine translation (NMT) for truly low-resource languages, and propose a training curriculum fit for cases when both parallel training data and compute resource are lacking, reflecting the reality of most of the world's languages and the researchers working on these languages. Previously, unsupervised NMT, which employs back-translation (BT) and auto-encoding (AE) tasks has been shown barren for low-resource languages. We demonstrate that leveraging comparable data and code-switching as weak supervision, combined with BT and AE objectives, result in remarkable improvements for low-resource languages even when using only modest compute resources. The training curriculum proposed in this work achieves BLEU scores that improve over supervised NMT trained on the same backbone architecture by +12.2 BLEU for English to Gujarati and +3.7 BLEU for English to Kazakh, showcasing the potential of weakly-supervised NMT for the low-resource languages. When trained on supervised data, our training curriculum achieves a new state-of-the-art result on the Somali dataset (BLEU of 29.3 for Somali to English). We also observe that adding more time and GPUs to training can further improve performance, which underscores the importance of reporting compute resource usage in MT research.

研究の動機と目的

• 限られた並列データと計算リソースの下で、真に低リソース言語における有効なNMTのギャップを埋めること。
• 低リソース言語コミュニティの研究者が直面する現実的な制約に耐えうるトレーニングカリキュラムを開発すること。
• 高リソースに近い言語や大規模事前学習に依存せずに、非教師ありおよび弱教師ありNMTの性能を向上させること。
• 比較可能な単語レベルのモノリンガルデータとコードスイッチングが、低リソースNMTにおける効果的な弱教師付き監視として機能できることを示すこと。
• NMT研究における計算リソース使用の影響が十分に評価されていないことの認識を高め、透明性のある報告を提唱すること。

提案手法

• ターゲット言語と英語の間の語彙的重複を測るために、Panlex辞書を用いて多言語Wikipediaから比較可能な文ペアを抽出する。
• 同じ辞書を用いてニュース記事をターゲット言語に翻訳することで、コードスイッチドモノリンガルデータを作成し、二言語言語モデルの事前学習を強化する。
• バックトランスレーション、自己符号化、比較可能なデータ学習の目的を段階的に配置する多段階トレーニングカリキュラムを設計する。
• 最小限の計算リソース（1×32GB GPU）を想定し、標準的なTransformerベースのNMTアーキテクチャを用いることで、低リソース研究者の現実の制約を再現する。
• コードスイッチドデータでの事前学習を優先し、その後弱教師ありの比較可能なデータで微調整し、最後に利用可能な並列データで最終微調整するカリキュラムを適用する。
• 標準テストセットにおけるBLEUスコアを用いて性能を評価し、各コンponentの寄与を分離するためのアブレーションスタディを実施する。

実験結果

リサーチクエスチョン

• RQ1 語彙的重複を介して抽出された比較可能なWikipediaデータが、低計算リソース環境下で低リソースNMTの性能を顕著に向上させられるか？
• RQ2 事前学習段階でコードスイッチングを用いることで、低リソース言語の弱教師ありNMTの有効性が向上するか？
• RQ3 同じバックボーンと計算予算を使用する場合、提案されたカリキュラムの性能は教師ありNMTと比べてどの程度優れているか？
• RQ4 文法的距離（例：文字セット、屈曲形態、構文）が、提案されたカリキュラムによる向上にどの程度影響を及けるか？
• RQ5 計算時間の延長やGPU使用量の増加が性能にどの程度寄与するか。また、なぜNMT研究においてこれがしばしば報告されないのか？

主な発見

• 同じモデルと計算環境下で、教師ありNMTと比較して、英語→グジャラート語では+12.2 BLEU、英語→カザフ語では+3.7 BLEUの向上を達成した。
• スムーリング→英語のタスクでは、教師ありデータで学習した結果、29.3の新しいSOTA BLEUスコアを達成し、先行手法を上回った。
• 比較可能なWikipediaデータの単独使用でも、カザフ語（屈曲形態が複雑）では4.6〜6.2 BLEUの向上を達成した。
• コードスイッチングによる事前学習は性能向上に顕著な貢献を示し、アブレーションスタディでは全3言語で改善が観察された。
• トレーニング時間の延長とGPUの増加により、追加で6.8 BLEUの向上が得られた。これは、NMT研究において計算リソースの影響がしばしば報告されないことが強く示唆されている。
• 文法的距離（構文ベクトル、文字重複、タイプロジカル特徴）を指標に測定したところ、性能と相関が認められ、カザフ語（最も距離が遠い）はカリキュラムの恩恵を受けても最低スコアを示した。