[論文レビュー] Unsupervised Translation of German--Lower Sorbian: Exploring Training and Novel Transfer Methods on a Low-Resource Language

Lukas Edman, Ahmet Üstün+2 more|arXiv (Cornell University)|Sep 24, 2021

Natural Language Processing Techniques参考文献 11被引用数 4

ひとこと要約

本稿では、ドイツ語–低資源言語の低ソルブ語の間で、2か国語を同時に学習し、上ソルブ語から低ソルブ語への語彙転送法を導入し、オンラインおよびオフラインの逆翻訳の順序を最適化することで、ドイツ語–低ソルブ語向けの新しい非教師あり機械翻訳システムを提示する。このアプローチにより、最先端の結果が得られ、DSB→DEでは1位（並び）で、DE→DSBでは3位となり、語彙転送により最大4.0 BLEUの向上、オンライン逆翻訳を最初に使用することで2.76 BLEUの向上が達成された。

ABSTRACT

This paper describes the methods behind the systems submitted by the University of Groningen for the WMT 2021 Unsupervised Machine Translation task for German--Lower Sorbian (DE--DSB): a high-resource language to a low-resource one. Our system uses a transformer encoder-decoder architecture in which we make three changes to the standard training procedure. First, our training focuses on two languages at a time, contrasting with a wealth of research on multilingual systems. Second, we introduce a novel method for initializing the vocabulary of an unseen language, achieving improvements of 3.2 BLEU for DE$ ightarrow$DSB and 4.0 BLEU for DSB$ ightarrow$DE. Lastly, we experiment with the order in which offline and online back-translation are used to train an unsupervised system, finding that using online back-translation first works better for DE$ ightarrow$DSB by 2.76 BLEU. Our submissions ranked first (tied with another team) for DSB$ ightarrow$DE and third for DE$ ightarrow$DSB.

研究の動機と目的

• 低資源言語、特に並列学習データがなく、単語彙データも限られている低ソルブ語のような言語の非教師あり翻訳の課題に対処する。
• 計算リソースとデータリソースが制限された状況下で、2か国語に焦点を当てた微調整が、多言語事前学習を上回る性能を発揮するかを調査する。
• 密接に関連する言語（上ソルブ語）から知識を転送することで、未学習の低資源言語（低ソルブ語）の単語埋め込みを初期化する手法を開発する。
• 非教師あり学習におけるオンラインおよびオフラインの逆翻訳を組み合わせる最適な順序を特定する。
• 事前学習多言語モデルへのアクセスが制限された低資源環境における非教師あり翻訳のベンチマークを確立する。

提案手法

• 言語の類似性に基づき、ドイツ語とチェコ語、次にドイツ語と上ソルブ語、最後にドイツ語と低ソルブ語の2か国語に焦点を当てたTransformerエンコーダーデコーダー・モデルを学習する。
• 語の類似度をLevenshtein距離を用い、上ソルブ語の語の埋め込みを低ソルブ語にマッピングする、新しい語彙転送法を導入する。
• 2段階の学習プロセスを適用する：まず高資源言語ペアで事前学習を行い、次に非教師あり学習でターゲットの低資源言語ペアで微調整する。
• オンラインおよびオフラインの両方の逆翻訳を用い、順序を系統立てて比較する（オンラインを先に、またはオフラインを先に）ことで、最適な順序を特定する。
• チェコ語および上ソルブ語の補助的単語彙データと、ドイツ語–チェコ語の並列データを活用し、初期化と学習の安定性を向上させる。
• 語彙転送および逆翻訳順序のBLEUスコアへの影響を評価するためのアブレーションスタディを実施する。

実験結果

リサーチクエスチョン

• RQ1 データと時間の制限がある状況下で、多言語モデルを事前学習・微調整するのではなく、2か国語に焦点を当てた学習が効果的であるか？
• RQ2 低ソルブ語のような未学習の低資源言語の語彙初期化を、どのようにして良好に得られるか？
• RQ3 非教師あり学習において、オンラインおよびオフラインの逆翻訳を組み合わせる最適な順序は何か？

主な発見

• オンライン逆翻訳をオフライン逆翻訳の前に実行することで、DE→DSB翻訳が2.76 BLEU向上し、オンラインBTから得られる高品質な合成データが、その後のオフライン学習を効果的に向上させることを示している。
• 上ソルブ語から低ソルブ語への語彙転送法により、DE→DSB翻訳が3.2 BLEU向上、DSB→DE翻訳が4.0 BLEU向上した。Levenshtein距離ベースの類似度手法は、単純なトップ1アプローチを上回った。
• アブレーションスタディにより、語彙転送が性能向上に顕著に寄与することが確認され、Levenshtein手法が最も高い向上を示した。特にゼロショットのDSB→DE翻訳では、3.15から21.27 BLEUに向上した。
• オンライン逆翻訳をオフライン逆翻訳の前に実行した場合、DE→DSBで24.64 BLEU、DSB→DEで27.89 BLEUのスコアを達成し、WMT 2021共同タスクでそれぞれ3位および1位（並び）となった。
• 低ソルブ語での微調整なしに、語彙転送を適用したモデルでも、DSB→DE翻訳で21.27 BLEUのスコアを達成した。これは、低資源環境における初期化の重要性を示している。
• 結果から、非教師あり学習は改善された語彙初期化により著しく利益を受けることが示され、語彙転送によりゼロショット性能で16–18 BLEUのギャップが埋まった。