[論文レビュー] Low-Resource Machine Translation for Low-Resource Languages: Leveraging Comparable Data, Code-Switching and Compute Resources.

Garry Kuwanto, Afra Feyza Akyürek+3 more|arXiv (Cornell University)|Mar 24, 2021

Natural Language Processing Techniques参考文献 59被引用数 14

ひとこと要約

本論文では、並列平行語彙データがなく、計算リソースも限定された低リソース言語向けに、類似する単語の単語対照合データと二国語辞書を用いた弱教師付き手法を提案する。計算リソースを最小限に抑えながら、辞書に基づくコードスイッチングを活用することで、英語→グジャラート語翻訳において、教師ありベースライン比で最大+18.88のBLEUスコア向上を達成し、限られたデータとリソースでも優れた性能を示した。

ABSTRACT

We conduct an empirical study of unsupervised neural machine translation (NMT) for truly low resource languages, exploring the case when both parallel training data and compute resource are lacking, reflecting the reality of most of the world's languages and the researchers working on these languages. We propose a simple and scalable method to improve unsupervised NMT, showing how adding comparable data mined using a bilingual dictionary along with modest additional compute resource to train the model can significantly improve its performance. We also demonstrate how the use of the dictionary to code-switch monolingual data to create more comparable data can further improve performance. With this weak supervision, our best method achieves BLEU scores that improve over supervised results for English$ ightarrow$Gujarati (+18.88), English$ ightarrow$Kazakh (+5.84), and English$ ightarrow$Somali (+1.16), showing the promise of weakly-supervised NMT for many low resource languages with modest compute resource in the world. To the best of our knowledge, our work is the first to quantitatively showcase the impact of different modest compute resource in low resource NMT.

研究の動機と目的

• 並列語彙データがなく、計算リソースも限られた真の低リソース言語向けに、効果的なニューラル機械翻訳モデルを訓練する課題に対処すること。
• 類似する単語の単語対照合データと二国語辞書からの弱教師付き信号を用いて、無教師NMTの性能を向上させることの可能性を検討すること。
• 低リソース環境におけるモデル性能に、限定的な計算リソースが及ぼす影響を調査すること。
• 辞書を用いたコードスイッチングにより、単語対照合データを生成することで、より効果的な類似データを訓練に活用できることを示すこと。
• 限定的なデータとリソース環境下で、完全に無教師および教師ありベースラインと比較して、弱教師付きNMTの性能向上を定量的に評価すること。

提案手法

• 二国語辞書を用いて、類似する単語対照合データを抽出し、低リソースNMTの弱教師付き信号を生成する。
• 辞書に基づくコードスイッチングを単語対照合文に適用し、学習用の仮想的平行データに似たペアを生成する。
• 最小限の追加計算リソースで、単語対照合データとコードスイッチドデータを組み合わせて、無教師NMTモデルを訓練する。
• 標準的な無教師NMTフレームワーク（例：バックトランスレーション）を、弱教師付きデータで強化することで、モデルの整合性と翻訳品質を向上させる。
• 計算リソース（例：学習ステップ数、モデルサイズ）を系統的に変化させ、性能への影響を評価する。
• 英語→グジャラート語、英語→カザフ語、英語→ソマリ語などの低リソース言語ペアを対象に、標準的な指標（例：BLEU）を用いて性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 二国語辞書を用いて抽出された類似する単語対照合データは、低リソース環境下で無教師NMTの性能を顕著に向上させることができるか？
• RQ2 辞書を用いたコードスイッチングにより、単語対照合データの質がどの程度向上するか？
• RQ3 限定的な計算リソースの増加は、真の低リソース言語向け無教師NMTの性能にどのように影響するか？
• RQ4 並列データが全くない低リソース状況下で、弱教師付きNMTが無教師および教師ありベースラインを上回ることができるか？
• RQ5 低リソース言語ペアの学習において、異なるレベルの計算リソースがモデル性能に与える定量的影響は何か？

主な発見

• 英語→グジャラート語翻訳において、本手法は教師ありベースライン比で+18.88のBLEUスコア向上を達成した。
• 英語→カザフ語では、教師ありモデル比で+5.84のBLEU向上を示し、低リソース環境下での顕著な性能向上を確認した。
• 英語→ソマリ語では+1.16のBLEU向上が観察され、最も挑戦的な低リソース言語ペアに対しても一貫した向上が得られた。
• 辞書に基づくコードスイッチングは、類似データの質を顕著に向上させ、結果としてモデルの整合性と翻訳品質が向上した。
• 本研究は、真の低リソースNMT環境下で、限定的な計算リソースが性能に与える影響を初めて定量的に分析した。
• 結果から、辞書を用いて類似データを抽出し、コードスイッチングを適用する弱教師付きアプローチが、無教師および教師ありアプローチを上回ることを示した。