[論文レビュー] Translating Similar Languages: Role of Mutual Intelligibility in Multilingual Transformers

Ife Adebara, El Moatez Billah Nagoudi+1 more|arXiv (Cornell University)|Nov 10, 2020

Natural Language Processing Techniques被引用数 4

ひとこと要約

本稿は、双方向翻訳と多言語Transformerモデルを用いて、低資源で類似した言語間のニューラル機械翻訳を調査し、1組の言語対に対してバックトランスレーションを適用している。Jaccard類似度で測定した相互理解可能性とBLEUスコアの間に強い正の相関が認められ、双方向モデルが多言語モデルを上回ったが、ヒンディ語＝マラーティ語対を除き、バックトランスレーションによりスロベニア語＝クロアチア語対で3 BLEUポイント以上スコアが向上した。

ABSTRACT

We investigate different approaches to translate between similar languages under low resource conditions, as part of our contribution to the WMT 2020 Similar Languages Translation Shared Task. We submitted Transformer-based bilingual and multilingual systems for all language pairs, in the two directions. We also leverage back-translation for one of the language pairs, acquiring an improvement of more than 3 BLEU points. We interpret our results in light of the degree of mutual intelligibility (based on Jaccard similarity) between each pair, finding a positive correlation between mutual intelligibility and model performance. Our Spanish-Catalan model has the best performance of all the five language pairs. Except for the case of Hindi-Marathi, our bilingual models achieve better performance than the multilingual models on all pairs.

研究の動機と目的

• 5つの言語対について、低資源な類似言語間翻訳における双方向および多言語Transformerモデルの評価。
• 低資源環境下における相互理解可能性の機械翻訳性能への影響の調査。
• 1つの言語対についてのバックトランスレーションの有効性の評価。
• 言語的類似度（Jaccard類似度で測定）とモデル性能（BLEUスコア）の関係の分析。
• 5つの言語対にわたる翻訳品質の観点から、双方向モデルと多言語モデルのアーキテクチャの比較。

提案手法

• 5つの言語対それぞれについて、両方向に分けて単独の双方向Transformerモデルを訓練。1 GPUを7日間使用。
• 全言語を処理可能な2つの多言語Transformerモデル（方向別1つずつ）を訓練。共有表現を用い、4 GPUを7日間使用。
• スロベニア語＝クロアチア語（SL-HR）対に対してバックトランスレーションを適用。モノリンガルのターゲット言語データから擬似並列データを生成。
• 多言語モデルにおいて、ターゲット言語の識別子を開始文字列マーカーとして使用し、翻訳をターゲット言語のアイデンティティに条件づける。
• ビームサーチ（ビームサイズ5）とBPEからのデトークン化を用い、検証セットおよびテストセットでBLEUスコアを評価。
• 語彙レベルの文字n-gramを用いたJaccard類似度で、言語対間の相互理解可能性を測定。

実験結果

リサーチクエスチョン

• RQ1 Jaccard類似度で測定した相互理解可能性と、低資源環境下での翻訳性能（BLEUスコア）との相関関係は？
• RQ2 低資源条件下で、双方向モデルは類似言語翻訳において多言語モデルを上回るか？
• RQ3 バックトランスレーションは、低資源な類似言語対の翻訳品質をどの程度向上させるか？
• RQ4 スロベニア語＝セルビア語（SL-SR）対は、類似度が高いほどBLEUスコアが高くなるという一般的な傾向から外れているが、その理由は？
• RQ5 モデルアーキテクチャ（双方向対比多言語）と言語的類似度の相互作用が、翻訳性能に与える影響は？

主な発見

• 双方向モデルは、ヒンディ語＝マラーティ語を除き、全言語対で多言語モデルを上回った。ただし、ヒンディ語＝マラーティ語対では多言語モデルがより高いBLEUスコア（16.35 vs. 12.14）を達成した。
• スペイン語＝カタルーニャ語対が最高のBLEUスコア（検証セットで74.85）を記録し、高い相互理解可能性に起因する優れた性能を示した。
• バックトランスレーションにより、SL-HRモデルのBLEUスコアが3ポイント以上向上し、最良のモデルでは検証セットで36.89のBLEUスコアを達成した。
• 全モデルにおいて、Jaccard類似度とBLEUスコアの間に正の相関が認められたが、スロベニア語＝セルビア語対（SL-SR）を除き、類似度が高かっただけでなくBLEUスコアが低かった。
• カタルーニャ語＝スペイン語（CA-ES）対において、多言語モデルが双方向モデルを上回った（テストセットで45.86 vs. 45.23 BLEU）。これは、高相互理解性の対において共有表現の利点が顕著に現れた可能性を示唆している。
• SL-SR対はSL-HR対よりも高いJaccard類似度を示したが、BLEUスコアは低かった（40.80 vs. 36.89）。これは、類似度そのものが翻訳品質を保証しないことを示しており、構造的・語彙的乖離の影響が考えられる。