[論文レビュー] Lesan -- Machine Translation for Low Resource Languages

Asmelash Teka Hadgu, Abel Aregawi+1 more|arXiv (Cornell University)|Dec 15, 2021

Natural Language Processing Techniques被引用数 5

ひとこと要約

Lesanは、エチオピア文字のためのカスタムOCR、並列コーパス構築のための自動文書アライメント、およびバックトランスレーションを活用することで、Tigrinya語やAmharic語などの低リソース言語向けに、オフラインおよびオンラインのマルチリンガルリソースを活用した低リソース機械翻訳システムを提案する。変換器ベースのエンコーダ・デコーダモデルを用い、バックトランスレーションを適用することで、6つの言語ペアにおいて人間評価でGoogle Translate、Microsoft Translator、Yandex Translateを上回り、1000万件を超える翻訳を提供する、最先端の結果を達成した。

ABSTRACT

Millions of people around the world can not access content on the Web because most of the content is not readily available in their language. Machine translation (MT) systems have the potential to change this for many languages. Current MT systems provide very accurate results for high resource language pairs, e.g., German and English. However, for many low resource languages, MT is still under active research. The key challenge is lack of datasets to build these systems. We present Lesan, an MT system for low resource languages. Our pipeline solves the key bottleneck to low resource MT by leveraging online and offline sources, a custom OCR system for Ethiopic and an automatic alignment module. The final step in the pipeline is a sequence to sequence model that takes parallel corpus as input and gives us a translation model. Lesan's translation model is based on the Transformer architecture. After constructing a base model, back translation, is used to leverage monolingual corpora. Currently Lesan supports translation to and from Tigrinya, Amharic and English. We perform extensive human evaluation and show that Lesan outperforms state-of-the-art systems such as Google Translate and Microsoft Translator across all six pairs. Lesan is freely available and has served more than 10 million translations so far. At the moment, there are only 217 Tigrinya and 15,009 Amharic Wikipedia articles. We believe that Lesan will contribute towards democratizing access to the Web through MT for millions of people.

研究の動機と目的

• Tigrinya語やAmharic語のような低リソース言語における並列単語対データの不足に取り組む。
• 多様なオフラインおよびオンラインのマルチリンガルリソースを活用するスケーラブルな機械翻訳パイプラインの開発。
• エチオピア文字のためのカスタムOCRと自動文書アライメントを活用して、低リソース言語ペアの翻訳品質を向上させること。
• 既存の商業的MTシステムを人間評価で上回ることを目的とした、低リソース言語ペアにおける翻訳品質の向上。
• Webコンテンツへのアクセスを民主化し、低リソース言語への翻訳を可能にすること。

提案手法

• パイプラインは、オフラインアーカイブ（例：翻訳済みの書籍、雑誌）およびオンラインリソース（例：マルチリンガルニュースサイト、宗教的・法的文書）からデータを収集する。
• スキャンされた文書をエチオピア文字で処理するためのカスタムOCRシステムを実行し、文字および単語の誤りを修正するためのポストエディットを実施する。
• Webリソースからのテキストは、HTMLタグを除去し、著者や日付などのメタデータを保持した状態で解析してクリーンなテキストを抽出する。
• 重複除去、言語検出、文分割などの一連のNLPモジュールを用いて、生のテキストをクリーニングおよび構造化する。
• 二つの逆方向翻訳モデルのクロスエントロピースコアを用いて、有効な並列文ペアを特定する自動アライメントシステムを採用する。
• アラインメント済みの並列コーパス上でトレーニングされた変換器ベースのエンコーダ・デコーダモデルに、モノリンガルデータを活用したバックトランスレーションを適用して、さらなる性能向上を図る。

実験結果

リサーチクエスチョン

• RQ1 限定的な並列データを用いても、Tigrinya–英語およびAmharic–英語のような低リソース言語ペアで高い性能を達成できる機械翻訳システムは構築可能か？
• RQ2 エチオピア文字のためのカスタムOCRシステムは、スキャンされた文書から使用可能なテキストを回復させるのにどの程度効果的か？
• RQ3 多様でノイズの多いマルチリンガルリソースから自動文書アライメントを適用することで、高品質な並列コーパスをどの程度得られるか？
• RQ4 並列モノリンガルデータが限られる状況で、バックトランスレーションは翻訳品質を著しく向上させ得るか？
• RQ5 Lesanは、Google Translate や Microsoft Translator といった商業システムと比較して、複数の言語方向において人間評価でどの程度優れているか？

主な発見

• Lesanは、Amharic–英語、Tigrinya–英語、およびその逆方向の6つの言語方向において、人間評価でGoogle Translate、Microsoft Translator、Yandex Translateをすべて上回った。
• Amharicから英語への翻訳では、ストーリー単位での平均人間評価スコアが3.25（±0.38）を記録し、Google Translate（2.88 ± 0.33）とMicrosoft Translator（2.54 ± 0.44）を上回った。
• 英語からTigrinyaへの翻訳では、文単位でのスコアが2.78（±0.31）を記録し、Microsoftの2.01（±0.63）を著しく上回った。
• 英語からAmharicへの翻訳では、ストーリー単位での平均スコアが3.17（±0.42）を記録し、Google Translate（2.88 ± 0.33）とMicrosoft Translator（2.54 ± 0.44）を上回った。
• 本システムは1000万件を超える翻訳を提供しており、スケーラビリティおよび実世界での展開可能性を実証した。
• 評価データセットは公開され、低リソース機械翻訳の評価分野におけるさらなる研究を支援するための基盤が整った。