[論文レビュー] The FLoRes Evaluation Datasets for Low-Resource Machine Translation: Nepali-English and Sinhala-English

Francisco Guzmán, Peng‐Jen Chen+6 more|arXiv (Cornell University)|Feb 4, 2019

Natural Language Processing Techniques被引用数 12

ひとこと要約

この論文は、プロフェッショナル翻訳者によって翻訳されたウィキペディア文をもとに作成された、低リソース言語対Nepali–EnglishおよびSinhala–Englishの機械翻訳のためのFLoRes評価データセットを紹介する。最新の半教師ありおよび多言語モデルを用いても、BLEUスコアは依然として低く（例：Sinhala–Englishでは15.1）、ドメイン不一致と、グラママティカルに大きく異なる言語間での翻訳の難しさが顕著になる。

ABSTRACT

For machine translation, a vast majority of language pairs in the world are considered low-resource because they have little parallel data available. Besides the technical challenges of learning with limited supervision, it is difficult to evaluate methods trained on low-resource language pairs because of the lack of freely and publicly available benchmarks. In this work, we introduce the FLoRes evaluation datasets for Nepali-English and Sinhala-English, based on sentences translated from Wikipedia. Compared to English, these are languages with very different morphology and syntax, for which little out-of-domain parallel data is available and for which relatively large amounts of monolingual data are freely available. We describe our process to collect and cross-check the quality of translations, and we report baseline performance using several learning settings: fully supervised, weakly supervised, semi-supervised, and fully unsupervised. Our experiments demonstrate that current state-of-the-art methods perform rather poorly on this benchmark, posing a challenge to the research community working on low-resource MT. Data and code to reproduce our experiments are available at https://github.com/facebookresearch/flores.

研究の動機と目的

• Nepali–English や Sinhala–English のような低リソース言語対における、公開可能で高品質な評価ベンチマークの不足に対処すること。
• 低リソース環境における現実の翻訳課題を反映する、信頼性の高いプロフェッショナル翻訳データセットを構築すること。
• 新しく導入されたベンチマーク上で、現在の最先端の機械翻訳モデルの性能を評価し、性能のギャップと研究上の課題を特定すること。
• 特に低リソース環境において、学習データとテストデータのドメイン不一致が翻訳品質に与える影響を分析すること。
• 自由に利用可能なデータとコードを通じて、低リソースMT手法の公平かつ再現可能な比較を促進すること。

提案手法

• ネパリ語および僧伽羅語のウィキペディア記事から文を抽出し、プロフェッショナル翻訳者による英語への翻訳を実施して並列文を収集した。
• 調整用、開発用、テスト用の3つのセットを構築し、各言語対で約2,900文を確保することで、バランスの取れた評価を実現した。
• 相互検証と文の自然さスコアリングを実施し、人的翻訳の信頼性を高めるための厳密な品質チェックを実施した。
• 完全教師あり、弱教師あり（Paracrawlを用いる）、半教師あり（バックトランスレーション）、完全非教師ありの4つの学習パラダイムを評価した。
• 多言語および単言語データを用いてニューラル機械翻訳モデルを学習し、異なる学習体制における性能を評価した。
• ドメイン内（Open Subtitles）とドメイン外（Wikipedia）の学習データを比較するアブレーションスタディを実施し、ドメインシフトの影響を分離した。

実験結果

リサーチクエスチョン

• RQ1 最新のニューラル機械翻訳モデルは、新たに導入されたNepali–EnglishおよびSinhala–Englishベンチマークでどの程度の性能を示すか？
• RQ2 学習データ（例：Open Subtitles）とテストデータ（Wikipedia）の間のドメイン不一致が、低リソース言語対における翻訳品質にどの程度影響を及えるか？
• RQ3 完全教師あり、弱教師あり、半教師あり、非教師ありの異なる学習パラダイムは、これらの低リソース言語対でどの程度の性能を示すか？
• RQ4 言語的距離（語形変化と文法構造）は、並列データが限られる状況で翻訳の難易度にどのような役割を果たすか？
• RQ5 評価データセットの品質は、低リソースMT研究の有効なベンチマークとして十分に信頼できるか？

主な発見

• 最新の最先端モデルは、FLoResベンチマークで極めて低いBLEUスコアを記録しており、教師あり学習ではSinhala–Englishで7.159、半教師あり学習では15.105にとどまる。
• 半教師ありおよび多言語学習手法が他の設定を上回り、単語データを活用することが低リソース翻訳において極めて重要であることが示された。
• ドメイン不一致は性能を著しく低下させる：ドメイン内（Open Subtitles）データでは、ドメイン外（Wikipedia）テストセットと比較して20〜210％のBLEUスコア上昇が見られ、一般化の困難さが顕著になった。
• 翻訳の難易度は、翻訳の自然さスコアと相関がなかったため、課題の原因は翻訳品質の悪さではなく、言語的複雑さに起因することが示唆された。
• ネパリ語ウィキペディアの文は英語ウィキペディアの文よりも劣った翻訳度を示しており、既存の並列コーパスがネパリ語の文法的構造と一致していない可能性がある。
• データセット作成上の欠陥の証拠は確認されなかった。低スコアの主な要因は、言語的距離とドメイン不一致であり、データ品質の問題ではない。