[論文レビュー] TURJUMAN: A Public Toolkit for Neural Arabic Machine Translation

El Moatez Billah Nagoudi, AbdelRahim Elmadany+1 more|arXiv (Cornell University)|May 27, 2022

Natural Language Processing Techniques被引用数 7

ひとこと要約

TURJUMAN は、20 言語から現代標準アラビア語（MSA）へのニューラル機械翻訳のためのオープンソース Python ツールキットであり、AraT5 テキスト対テキスト Transformer モデルに基づいている。これは、言い換え可能な翻訳を生成するための多様なデコード戦略を提供し、OPUS から意味的類似度に基づくフィルタリングを用いて抽出された高品質な 20 言語分の MSA 翻訳ベンチマーク、AraOPUS-20 を含む。このベンチマークは、競合するベースラインを上回る優れた性能を達成している。

ABSTRACT

We present TURJUMAN, a neural toolkit for translating from 20 languages into Modern Standard Arabic (MSA). TURJUMAN exploits the recently-introduced text-to-text Transformer AraT5 model, endowing it with a powerful ability to decode into Arabic. The toolkit offers the possibility of employing a number of diverse decoding methods, making it suited for acquiring paraphrases for the MSA translations as an added value. To train TURJUMAN, we sample from publicly available parallel data employing a simple semantic similarity method to ensure data quality. This allows us to prepare and release AraOPUS-20, a new machine translation benchmark. We publicly release our translation toolkit (TURJUMAN) as well as our benchmark dataset (AraOPUS-20).

研究の動機と目的

• アラビア語ニューラル機械翻訳のための公開可能で高品質なツールの不足に対処すること。
• MSA 翻訳に特化した、包括的で拡張可能かつアクセス可能な NMT ツールキットの開発。
• MSA 翻訳のための高品質でマルチリンガルなベンチマークデータセット（AraOPUS-20）の作成と公開。
• アラビア語での言い換え可能な翻訳を生成するための多様なデコード戦略の支援。
• 研究者や実務家が、TURJUMAN を強力なベースラインや拡張可能なフレームワークとして活用できるようにすること。

提案手法

• 20 言語ペアの OPUS 並列データの選別されたサブセット上で、AraT5 テキスト対テキスト Transformer モデルを微調整すること。
• OPUS からのノイズの多い翻訳を除去するために、意味的類似度に基づくフィルタリング手法を適用し、データ品質を向上させること。
• 複数のデコード戦略の実装：グリーディサーチ、ビームサーチ、top-k サンプリング、およびヌクレアス（top-p）サンプリング。
• 推論、翻訳、評価をサポートするモジュラーで Python ベースのコマンドラインツールキット（TURJUMAN）の設計。
• ツールキットとベンチマークデータセット（AraOPUS-20）をオープンソースライセンスで公開し、再現性と再利用を促進すること。
• 翻訳品質の評価とベースラインとの比較に、標準的な指標（BLEU など）の使用。

実験結果

リサーチクエスチョン

• RQ1 最小限のフィルタリングで、既存のノイズの多い並列コーパスから、公開可能で高品質な MSA 翻訳ベンチマークを構築できるか？
• RQ2 選別されたデータで微調整された AraT5 モデルは、多様な言語ペアにおけるマルチリンガル MSA 翻訳に対してどの程度効果的か？
• RQ3 TURJUMAN に実装された多様なデコード戦略は、同じ入力文に対してどの程度、言い換えられた翻訳を生成できるか？
• RQ4 TURJUMAN は、アラビア語 NMT の研究や応用において、強力で拡張可能なベースラインとして機能できるか？
• RQ5 データ品質のフィルタリングは、低リソースおよび高リソース言語ペアにおける翻訳パフォーマンスにどのような影響を与えるか？

主な発見

• 意味的類似度フィルタリングを用いて OPUS から抽出された、20 言語ペアの MSA 翻訳用高品質ベンチマーク、AraOPUS-20 が正常に抽出され、公開された。
• AraOPUS-20 で微調整された TURJUMAN ツールキットは、MSA 翻訳タスクにおいて競合するベースラインを上回る性能を示した。
• このツールキットは複数のデコード戦略をサポートしており、同じ入力から言い換えられた翻訳を生成できる。
• ベンチマークデータセットのホールドアウトテストセットにおいて、モデルの BLEU スコアは 43.57 に達し、優れたパフォーマンスを示した。
• TURJUMAN は完全なドキュメンテーションとともに公開されており、即時利用と、将来的により大きなデータセットへの拡張を可能としている。
• このツールキットは標準的な NLP ライブラリと互換性があり、pip を通じたインストールが可能で、広範なアクセス性と統合を実現している。