[論文レビュー] How Robust is Neural Machine Translation to Language Imbalance in Multilingual Tokenizer Training?

Shiyue Zhang, Vishrav Chaudhary+5 more|arXiv (Cornell University)|Apr 29, 2022

Natural Language Processing Techniques被引用数 6

ひとこと要約

本稿は、多言語トークナイザー学習における言語の不均衡がニューラル機械翻訳（NMT）の頑健性に与える影響を調査する。NMTの性能は予想以上に不均衡に強く、特に文字セットが共通する言語では顕著である。2つの早期予兆指標として、UNK率と文字レベルへの近さが特定された。トークナイザー学習における言語データのバランスを取ることと、下流タスクでの利用前にこれらの指標を用いて事前評価することを提案する。

ABSTRACT

A multilingual tokenizer is a fundamental component of multilingual neural machine translation. It is trained from a multilingual corpus. Since a skewed data distribution is considered to be harmful, a sampling strategy is usually used to balance languages in the corpus. However, few works have systematically answered how language imbalance in tokenizer training affects downstream performance. In this work, we analyze how translation performance changes as the data ratios among languages vary in the tokenizer training corpus. We find that while relatively better performance is often observed when languages are more equally sampled, the downstream performance is more robust to language imbalance than we usually expected. Two features, UNK rate and closeness to the character level, can warn of poor downstream performance before performing the task. We also distinguish language sampling for tokenizer training from sampling for model training and show that the model is more sensitive to the latter.

研究の動機と目的

• 多言語トークナイザー学習における言語の不均衡が、下流のNMT性能に与える影響を体系的かつ評価すること。
• トークナイザー学習とモデル学習における言語サンプリング戦略が翻訳品質に与える影響が異なるかどうかを特定すること。
• 完全な学習を実行せずに下流性能が悪化するのを予測できる、早期の中間指標（例：UNK率、文字レベルへの近さ）を同定すること。
• 低リソース言語における性能不足を回避するための、多言語トークナイザーの学習と評価に関する実用的提案を提供すること。

提案手法

• 著者らは、モデル学習におけるサンプリングを固定したまま、8言語（英語、タガログ語、アイスランド語、デーン語、インドネシア語、タミル語、ギリシャ語、中国語）のトークナイザー学習コーパスにおけるデータ比を変化させる。
• 温度ベースのサンプリングを用いて、トークナイザー学習データにおける言語比を制御し、指数係数S = 0, 0.3, 1.0を用いる。
• スパークBLEU（spBLEU）スコアを用いて、二国語および多言語設定の両方で翻訳性能を評価し、複数のランダムシードとアブレーションスタディを実施する。
• 2つの中間特徴を計算する：UNK率（文あたりの未知トークンの平均割合）と、文字レベルへの近さ（平均サブワード長÷文字長）。
• トークナイザー学習における言語の不均衡とモデル学習における不均衡の影響を、それぞれを独立して変化させながら比較する。
• 広範なアブレーションを含む、多様な多言語データセット上で実験を実施し、二国語設定では1,890件、多言語設定では31件の実験を実施。最大64GPUを用いる。

実験結果

リサーチクエスチョン

• RQ1 多言語トークナイザー学習における言語の不均衡は、下流のNMT翻訳性能にどのように影響するか？
• RQ2 UNK率と文字レベルへの近さは、下流性能の悪化を予測する信頼できる早期指標として機能するか？
• RQ3 NMTは、モデル学習における言語の不均衡、それともトークナイザー学習における不均衡に、より感受しやすいか？
• RQ4 トークナイザー学習における最適な言語サンプリング戦略は何か？また、モデル学習とは異なるか？
• RQ5 UNK率と文字レベルへの近さに、許容可能なトークナイザー品質を示す実用的閾値を設定できるか？

主な発見

• NMTの性能は、予想以上にトークナイザー学習における言語の不均衡に強く、特に言語が共通の文字セットを共有する場合、極端な比率（例：1:100,000）に達した場合にのみ顕著な性能低下が生じる。
• 言語がトークナイザー学習データでよりバランスが取れている場合、一貫して高い翻訳性能が得られ、バランスと性能の間に中程度のピアソン相関（r ≈ 0.5–0.7）が確認された。
• 英語は、他の言語の単語レベルコーパスに頻出するため、極端に不均衡であっても枯渇（starved）しにくく、非常に頑健である。
• UNK率と文字レベルへの近さという2つの中間特徴は、下流性能の強力な早期予測指標として機能し、それぞれ約3.7%のUNK率と約0.87の文字レベルへの近さが、許容可能な品質を示す閾値として有効である。
• NMTは、モデル学習における言語の不均衡に対して、トークナイザー学習における不均衡よりもはるかに感受しやすい。これは、モデルレベルのサンプリング戦略により注意を払う必要があることを示唆する。
• 本研究は、トークナイザー学習において言語比をバランスさせるよう推奨するとともに、デプロイ前に2つの提案された特徴を用いて事前評価を行うことを提言する。