[論文レビュー] The Effect of Domain and Diacritics in Yorùbá-English Neural Machine Translation

David Ifeoluwa Adelani, Dana Ruiter+6 more|arXiv (Cornell University)|Mar 15, 2021

Natural Language Processing Techniques参考文献 39被引用数 6

ひとこと要約

本稿では、標準化された訓練・開発・テスト分割を備えた、高品質で多分野にわたる英語–ヨルーバ語並列コーパスであるMENYO-20kを紹介し、ニューラル機械翻訳（NMT）への影響を評価する。適切な発音記号（ダイアクリティクス）と分野特化型データを組み込むことで、著者らは、Google や Facebook の M2M といった大規模なマルチリンガルモデルよりも、ヨルーバ語–英語翻訳でそれぞれ +8.7 および +9.1 BLEU の優位性を示した微調整モデルを実証した。

ABSTRACT

Massively multilingual machine translation (MT) has shown impressive capabilities, including zero and few-shot translation between low-resource language pairs. However, these models are often evaluated on high-resource languages with the assumption that they generalize to low-resource ones. The difficulty of evaluating MT models on low-resource pairs is often due to lack of standardized evaluation datasets. In this paper, we present MENYO-20k, the first multi-domain parallel corpus with a special focus on clean orthography for Yorùbá--English with standardized train-test splits for benchmarking. We provide several neural MT benchmarks and compare them to the performance of popular pre-trained (massively multilingual) MT models both for the heterogeneous test set and its subdomains. Since these pre-trained models use huge amounts of data with uncertain quality, we also analyze the effect of diacritics, a major characteristic of Yorùbá, in the training data. We investigate how and when this training condition affects the final quality and intelligibility of a translation. Our models outperform massively multilingual models such as Google ($+8.7$ BLEU) and Facebook M2M ($+9.1$ BLEU) when translating to Yorùbá, setting a high quality benchmark for future research.

研究の動機と目的

• 低リソースのヨルーバ語–英語機械翻訳における、標準化され、高品質な並列コーパスの不足に対処すること。
• 訓練データにおける分野の多様性と発音記号の正確性が翻訳品質に与える影響を調査すること。
• 洗練された多分野データセットを用いて、ヨルーバ語–英語ニューラル機械翻訳のベンチマークを確立すること。
• 教師あり、半教師あり、微調整モデルの性能を、低リソースのヨルーバ語–英語翻訳において評価すること。
• 発音記号が翻訳品質に与える影響、特に en–yo 方向においては、発音記号の回復の利点を分析すること。

提案手法

• 専門翻訳者による校正を経て、ニュース、TEDトークス、ラジオ、科学・技術、会話文を含む多分野にわたる2万文の並列コーパスであるMENYO-20kを構築した。
• ヨルーバ語–英語NMTの再現可能なベンチマーク化を可能にするために、標準化された訓練・開発・テスト分割を定義した。
• MENYO-20kに加え、JW300および聖書データセットを組み合わせ、複数の教師あり、半教師あり、微調整NMTモデルを訓練した。
• 自動評価指標（BLEU）と人間による評価（流暢さと理解可能性）を用いてモデルを評価した。
• GoogleのMNMTやFacebookのM2M-100といった大規模マルチリンガルモデルと性能を比較した。
• 発音記号の有無に応じた、発音記号豊富なバージョンと発音記号貧困なバージョンのデータでモデルを訓練し、発音記号の影響を分析した。

Figure 1: Top: Perplexities of KenLM 5-gram language model learned on different training corpora and tested on subsets of MENYO-20k for English (left) and Yorùbá (right) respectively. Bottom: Vocabulary coverage (%) of different subsets of the MENYO-20k test set per training sets for English (left)

実験結果

リサーチクエスチョン

• RQ1 訓練データにおける分野の多様性が、低リソースのヨルーバ語–英語翻訳におけるNMTモデルの一般化性能に与える影響はいかほどか？
• RQ2 訓練データにおける適切な発音記号化が、特に en–yo 方向において翻訳品質をどの程度向上させるか？
• RQ3 MENYO-20kで微調整されたモデルは、GoogleのMNMTやFacebookのM2Mといった大規模マルチリンガルモデルを上回る性能を示せるか？
• RQ4 訓練データに発音記号が存在する場合、人間評価における流暢さと理解可能性にどのような影響を与えるか？
• RQ5 発音記号が一貫していない状況で、訓練データとテストデータの分野が一致しない場合、翻訳品質にどのような影響を与えるか？

主な発見

• MENYO-20kで微調整されたモデルは、ヨルーバ語–英語翻訳において、Googleのマルチリンガルモデルより+8.7 BLEU、FacebookのM2Mモデルより+9.1 BLEUの優位性を示した。
• 人間評価では、低品質で発音記号が付いていないデータ（例：Google MNMT）で訓練されたモデルは、理解可能ではあったが、流暢さに欠けていた。
• 訓練データにおける適切な発音記号化は、en–yo 方向の翻訳品質を顕著に向上させた。特に分野の不一致が生じた場合に顕著であった。
• わずか1万文の並列文であっても、MENYO-20kにJW300および聖書データを組み合わせることで、あらゆる分野で翻訳性能が向上した。
• 本研究では、正しい発音記号を備えた高品質な言語固有のデータが、低リソース環境において、大規模でノイズの多いマルチリンガルコーパスを上回ることを示した。
• 自動発音記号回復が、訓練データにおけるノイズや発音記号の欠落がもたらす悪影響を緩和する上で有益であることが示された。