[論文レビュー] A Recipe for Arabic-English Neural Machine Translation

Abdullah Alrajeh|arXiv (Cornell University)|Aug 18, 2018

Natural Language Processing Techniques参考文献 20被引用数 12

ひとこと要約

本論文は、アラビア語-英語ニューラル機械翻訳（NMT）の包括的なレシピを提示しており、適切なアラビア語前処理（正規化およびトークン化など）を施すことにより、NMTシステムが最先端の性能を達成できることを示している。最良のNMTシステムは、NIST MT 2012テストセットにおいて、同等のフレーズベースSMTシステムよりも+13 BLEUポイントの向上を達成しており、さらにUmmahのような高品質な小規模コーパスを用いたファインチューニングにより、さらなる向上が得られている。

ABSTRACT

In this paper, we present a recipe for building a good Arabic-English neural machine translation. We compare neural systems with traditional phrase-based systems using various parallel corpora including UN, ISI and Ummah. We also investigate the importance of special preprocessing of the Arabic script. The presented results are based on test sets from NIST MT 2005 and 2012. The best neural system produces a gain of +13 BLEU points compared to an equivalent simple phrase-based system in NIST MT12 test set. Unexpectedly, we find that tuning a model trained on the whole data using a small high quality corpus like Ummah gives a substantial improvement (+3 BLEU points). We also find that training a neural system with a small Arabic-English corpus is competitive to a traditional phrase-based system.

研究の動機と目的

• 従来のフレーズベースSMTシステムを上回る、ロバストでエンドツーエンドのアラビア語-英語ニューラル機械翻訳のレシピを開発すること。
• 正規化およびトークン化を含む、特別なアラビア文字の前処理がNMTおよびSMTシステムの性能に与える影響を調査すること。
• UN、Ummah、ISI、その他の多様な並列コーパスが、高性能な翻訳モデルの訓練にどのように寄与するかを評価すること。
• Ummahのような小規模で高品質なデータセットが、ファインチューニングに用いられた場合に、NMT性能を顕著に向上させることができるかどうかを特定すること。
• 低リソースおよび高リソース環境における、NMTとフレーズベースSMTのスケーラビリティおよび効率性を比較すること。

提案手法

• 長距離依存性をモデル化するために、双方向LSTMとアテンションメカニズムを用いたエンコーダ-デコーダ構造のシーケンス・ツー・シーケンスNMTアーキテクチャを採用した。
• OoV（未知語）の処理とオープンボキャブラリー翻訳を可能にするために、90,000語彙サイズのバイトペアエンコーディング（BPE）を適用した。
• C++ベースの最適化を活用することで、速度とメモリ効率を高めた、Marian NMTツールキットを用いて、効率的な学習と推論を実現した。
• Farasaを介してATB方式によるアラビア語前処理（正規化およびトークン化）を実施し、モデルの汎化性能を向上させるとともに、曖昧さを低減した。
• 全データで事前学習した大規模NMTモデルを、小規模で高品質なコーパス（Ummah）を用いてファインチューニングすることで、再学習なしに性能を向上させた。
• 最良の5つのNMTモデルをアンサンブル化することで、さらに堅牢性とBLEUスコアを向上させた。

実験結果

リサーチクエスチョン

• RQ1 アラビア語前処理（正規化およびトークン化）は、アラビア語-英語翻訳におけるNMTおよびフレーズベースSMTシステムの性能にどのように影響を与えるか？
• RQ2 Ummahのような小規模で高品質なコーパスで学習させることにより、より大きなノイズを含むコーパスで学習させる場合と比較して、NMTモデルの翻訳品質はどの程度向上するか？
• RQ3 小規模なアラビア語-英語コーパスで学習したニューラル機械翻訳システムは、フレーズベースSMTシステムと同等またはそれ以上の性能を達成できるか？
• RQ4 ニュースドメインでないUN並列コーパスを含めても、アラビア語-英語システムの翻訳品質に測定可能な向上が得られるか？
• RQ5 特に、高品質なドメイン特化データを用いた適応において、モデルアンサンブル化とファインチューニングがNMT性能に与える影響は何か？

主な発見

• アラビア語前処理は、NMTおよびSMTシステムの両方の翻訳品質を顕著に向上させ、一部の設定では最大+8.5 BLEUポイントの向上を達成した。
• 最良のNMTシステムは、NIST MT 2012テストセットにおいて、同等のフレーズベースSMTシステムよりも+13 BLEUポイントの向上を達成し、NMTの優位性を実証した。
• 全データで学習したモデルを、Ummahコーパスのみを用いてファインチューニングすることで、+3 BLEUポイントの向上が得られた。これは、高品質なドメイン特化データが適応に非常に効果的であることを示している。
• Ummahのアラビア語-英語語彙ペアが230万語にとどまっているにもかかわらず、NMTシステムはフレーズベースシステムを上回る性能を示し、低リソース環境下でも強力な性能を発揮した。
• 最良の5つのNMTモデルをアンサンブル化することで、さらに+1.5 BLEUポイントの向上が得られ、NIST MT 2005では最終スコア62.98、MT 2012では54.27を達成した。
• Transformerのような高度なアーキテクチャの検討を行ったが、性能向上は観察されず、共同語彙サイズの拡大も結果に寄与しなかった。