[論文レビュー] First Result on Arabic Neural Machine Translation

Amjad Almahairi, Kyunghyun Cho+2 more|arXiv (Cornell University)|Jun 8, 2016

Natural Language Processing Techniques参考文献 25被引用数 29

ひとこと要約

本稿では、アラビア語-英語翻訳におけるニューラル機械翻訳（NMT）の最初の包括的評価を提示しており、フレーズベースシステムと比較している。アテンションベースのNMTにサブワードBPEトークン化と、正規化およびトークン化を含む形態論的注意の preprocessing を適用した結果、ドメイン内データではNMTがフレーズベースシステムと同等の性能を示したが、ドメイン外のテストセットでは顕著に優れた性能を示し、ドメインシフトに対する一般化能力およびロバスト性が優れていることが明らかになった。

ABSTRACT

Neural machine translation has become a major alternative to widely used phrase-based statistical machine translation. We notice however that much of research on neural machine translation has focused on European languages despite its language agnostic nature. In this paper, we apply neural machine translation to the task of Arabic translation (ArEn) and compare it against a standard phrase-based translation system. We run extensive comparison using various configurations in preprocessing Arabic script and show that the phrase-based and neural translation systems perform comparably to each other and that proper preprocessing of Arabic script has a similar effect on both of the systems. We however observe that the neural machine translation significantly outperform the phrase-based system on an out-of-domain test set, making it attractive for real-world deployment.

研究の動機と目的

• アラビア語-英語翻訳という低リソースで形態論的に豊富な言語対におけるニューラル機械翻訳（NMT）の性能を評価すること。
• フレーズベースシステム用に開発された前処理技術（例：形態論的注意のトークン化、表記正規化）がNMTに対しても同様に効果をもたらすかどうかを調査すること。
• 特にドメイン外テストセットにおけるNMTとフレーズベースシステムのドメインシフトに対するロバスト性を比較すること。
• アラビア語→英語および英語→アラビア語翻訳方向の両方を評価することで、将来的なアラビア語NMT研究のベースラインを確立すること。

提案手法

• アテンションベースのエンコーダデコーダNMTモデルを用い、エンコーダには双方向GRU、デコーダには単方向GRUを採用し、確率的勾配降下法を用いてバックプロパゲーションにより共同学習を行う。
• サブワード単位は、トレーニングデータに対してバイトペアエンコーディング（BPE）を適用して生成され、未知語問題を軽減するため語彙数を20,000記号に制限する。
• アラビア語の前処理に関しては、3つの戦略を評価する：単純トークン化（Tok）、表記正規化（Norm）、およびMADAMIRAを用いた形態論的注意のトークン化（ATB）。
• 英語の前処理には、単純トークン化、小文字変換（英語→アラビア語方向）、トゥルーキャーシング（アラビア語→英語方向）を適用し、トゥルーキャーシングはアラビア語→英語方向でのみ適用される。
• フレーズベース翻訳にはMosesを用い、語の対応付けにはGIZA++、フレーズテーブルは最大8語まで、言語モデルにはKenLMを用いる。
• システムの性能を評価するために、ドメイン内（MT05）およびドメイン外（MEDAR）のテストセットでBLEUスコアを計算する。

実験結果

リサーチクエスチョン

• RQ1 標準的な前処理を用いた場合、ニューラル機械翻訳はアラビア語-英語翻訳においてフレーズベースシステムと同等の性能を示すのか？
• RQ2 形態論的注意のトークン化および表記正規化は、NMT性能にどの程度向上効果をもたらすのか？また、フレーズベースシステムと同様の効果をもたらすのか？
• RQ3 NMTはフレーズベースシステムと比較して、ドメイン外テストデータへの一般化能力はどの程度高いのか？
• RQ4 NMTは、特に低リソースまたはドメインシフトが生じる状況下で、アラビア語翻訳においてフレーズベースシステムを上回る翻訳品質を達成できるのか？

主な発見

• ドメイン内MT05テストセットでは、フレーズベースシステムとNMTシステムの両方が同等のBLEUスコアを達成し、最良の設定（Tok+Norm+ATB）ではNMTが33.62 BLEU、フレーズベースが33.53 BLEUを記録した。
• ドメイン外MEDARテストセットでは、NMTシステムがフレーズベースシステムを顕著に上回り、BLEUスコアは49.70（NMT）対47.53（フレーズベース）を記録し、ドメインシフトに対するロバスト性が優れていることが示された。
• 形態論的注意のトークン化（ATB）および表記正規化（Norm）の適用により、両システムともベースライン比で最大+4.98 BLEUポイントの向上が見られ、NMTおよびフレーズベースモデルの両方で同一の相対的向上が確認された。
• 前処理による向上効果は、英語の前処理（例：小文字変換やトゥルーキャーシング）よりも顕著で、翻訳品質への影響は最小限にとどまった。これはアラビア文字の複雑さがより顕著に示された。
• NMTモデルがドメイン外データで性能向上を示したことは、連続的分散表現がフレーズベースシステムのスパars、n-gramベースのモデルよりも優れた一般化能力を有していることを示唆している。
• 結果から、元々フレーズベースシステム向けに開発された前処理技術がNMTに対しても同等に効果的であることが確認され、エンドツーエンドのニューラルシステムにおいても再利用可能であることが示された。