[論文レビュー] Transformers for Low-Resource Languages: Is Féidir Linn!

Séamus Lankford, Haithem Alfi+1 more|arXiv (Cornell University)|Mar 4, 2024

Topic Modeling参考文献 28被引用数 8

ひとこと要約

本論文は、低リソース環境における英語–アイルランド語翻訳のための Transformer モデルのハイパーパラメータ最適化を行い、サブワードモデリング（SentencePiece の 16k BPE）と調整された Transformer 構成が、ベースラインおよび RNN に対して顕著な BLEU 増加をもたらすことを示している。

ABSTRACT

The Transformer model is the state-of-the-art in Machine Translation. However, in general, neural translation models often under perform on language pairs with insufficient training data. As a consequence, relatively few experiments have been carried out using this architecture on low-resource language pairs. In this study, hyperparameter optimization of Transformer models in translating the low-resource English-Irish language pair is evaluated. We demonstrate that choosing appropriate parameters leads to considerable performance improvements. Most importantly, the correct choice of subword model is shown to be the biggest driver of translation performance. SentencePiece models using both unigram and BPE approaches were appraised. Variations on model architectures included modifying the number of layers, testing various regularisation techniques and evaluating the optimal number of heads for attention. A generic 55k DGT corpus and an in-domain 88k public admin corpus were used for evaluation. A Transformer optimized model demonstrated a BLEU score improvement of 7.8 points when compared with a baseline RNN model. Improvements were observed across a range of metrics, including TER, indicating a substantially reduced post editing effort for Transformer optimized models with 16k BPE subword models. Bench-marked against Google Translate, our translation engines demonstrated significant improvements. The question of whether or not Transformers can be used effectively in a low-resource setting of English-Irish translation has been addressed. Is féidir linn - yes we can.

研究の動機と目的

• MT における低リソース言語（アイリッシュ）翻訳の課題に対処する。
• 制限されたデータ条件下で、Transformer アーキテクチャが RNN を上回るかを評価する。
• サブワードモデリングの選択が翻訳品質に与える影響を特定する。
• ハイパーパラメータ（アテンションヘッド、層、正則化）が Transformer の性能に与える影響を探る。
• 英語–アイルランド語翻訳のためのMTシステム構築に関する実用的なガイダンスを提供する。

提案手法

• 評価には二つの英語–アイルランド語平行コーパス（55k DGT generic、88k PA in-domain）を使用する。
• ランダム探索ハイパーパラメータ最適化（HPO）下で、ベースラインの RNN と Transformer アーキテクチャを比較する。
• ソースとターゲットデータを結合して共有の SentencePiece サブワードモデルを作成する。
• サブワードモデルを評価する（4k–32k の語彙を持つ BPE、unigram）および Transformer の設定（heads、layers、dropout、label smoothing）。
• 良いハイパーパラメータを特定するために、各設定あたり短い 5k ステップの高速ランダム探索サイクルで訓練し、その後精製する。
• Google Translate と比較し、BLEU、TER、 ChrF3 指標を報告する。

Figure 1: Proposed Approach

実験結果

リサーチクエスチョン

• RQ1 低リソースデータ条件下で、Transformer モデルを英語–アイルランド語翻訳向けに効果的に訓練できるか？
• RQ2 サブワードモデルの選択（BPE 対 unigram）と語彙サイズが英語–アイルランド語の翻訳品質にどう影響するか？
• RQ3 低リソース MT における最適な Transformer ハイパーパラメータ（heads、layers、正則化）は何か？
• RQ4 サブワードモデリングを最適化した Transformer が、ベースラインの RNN および Google Translate と英語–アイルランド語でどのように比較されるか？
• RQ5 結果は汎用データ（DGT）とインドメインデータ（PA）コーパスの両方に汎化されるか？

主な発見

• Transformer モデルは両方のデータセットで RNN を上回る。
• 16k BPE のサブワードモデルが最良の Transformer 性能を発揮し、DGT データセットで BLEU 60.5、TER 0.33（ベースラインは 53.4）。
• PA インドメードデータでは、8 アテンションヘッドと 16k BPE も高い成果を示す（BLEU 60.x、TER ~0.33–0.34）。
• RNN はサブワードモデルからの向上が小さい（DGT で最大 ~3 BLEU ポイント、PA ではさらに小さい）。
• ランダム探索によるハイパーパラメータ最適化は、より小さな DGT モデルでは 2 heads を一部の構成で最適と同定し、より大きな PA コーパスでは 8 heads が 2 heads より優れている。
• サブワード分割を用いた最適化された Transformer は、後編集の労力を削減し、困惑度を低下させ、ベースラインと比較して収束が速く、検証指標が良好である。

Figure 2: BLEU performance for all model architectures