[論文レビュー] Large-Scale Machine Translation between Arabic and Hebrew: Available Corpora and Initial Results

Yonatan Belinkov, James Glass|arXiv (Cornell University)|Sep 25, 2016

Natural Language Processing Techniques参考文献 29被引用数 9

ひとこと要約

本稿では、新たに入手可能な並列コーパスを活用して、アラビア語からHebrewへの翻訳におけるフレーズベース翻訳（PBMT）とニューラル機械翻訳（NMT）の大規模比較を提示する。文字単位のニューラルモデルが従来の形態論的注意を要するトークン化を著しく上回ることを示しており、UNK置換と文字単位の符号化を用いたNMTシステムは10.86のBLEUスコアを達成し、低リソースのセミティック言語翻訳分野における重要な前進を示している。

ABSTRACT

Machine translation between Arabic and Hebrew has so far been limited by a lack of parallel corpora, despite the political and cultural importance of this language pair. Previous work relied on manually-crafted grammars or pivoting via English, both of which are unsatisfactory for building a scalable and accurate MT system. In this work, we compare standard phrase-based and neural systems on Arabic-Hebrew translation. We experiment with tokenization by external tools and sub-word modeling by character-level neural models, and show that both methods lead to improved translation performance, with a small advantage to the neural models.

研究の動機と目的

• アラビア語-ヘブライ語機械翻訳のための並列コーパスの不足という問題に対処する。これは、言語的・文化的に重要な両言語において、依然として重大なギャップである。
• 英語を経由するピボット翻訳やルールベースのシステムといった、従来のアプローチの限界（情報損失や低い耐性）を克服する。
• 形態論的豊富なセミティック言語の翻訳品質向上に寄与する、形態論的注意を要するトークン化と文字単位のニューラルモデリングの有効性を評価する。
• WIT3 TEDトークスコーパスを用いて、アラビア語-ヘブライ語翻訳のベンチマークを確立し、将来的な比較研究を可能にする。
• サブワードモデリングと注意メカニズムによるUNK語置換が翻訳性能に与える影響を調査する。

提案手法

• TEDトークスから得た大規模なアラビア語-ヘブライ語並列コーパス上で、標準的なフレーズベースMT（PBMT）とニューラルMT（NMT）システムを訓練・比較する。
• アラビア語およびヘブライ語の形態的複雑性に対処するため、外部のトークン化ツール（FarasaとMADAMIRA）を適用する。
• サブワードユニットを処理するためのCNNベースエンコーダーを用いた文字単位のニューラルモデルを実装し、未知語の問題を低減する。
• 注意重みを用いて未知語トークンをその対応元のソース側対象に一致させることで、注意に基づくUNK語置換を統合する。
• PBMTにはMosesツールキット、NMTには注意機構を備えたseq2seqフレームワークを用いる。
• BLEUおよびMeteorスコアを用いてシステムを評価し、標準的な統計的手法による有意性検定を実施する。

実験結果

リサーチクエスチョン

• RQ1 新たに入手可能な並列コーパスを用いた場合、ニューラル機械翻訳がフレーズベース翻訳を上回るのか？
• RQ2 形態論的注意を要するトークン化は、アラビア語-ヘブライ語MTにおける翻訳性能をどの程度向上させるのか？
• RQ3 従来のトークン化ツールと比較して、文字単位のニューラルモデルは形態的豊富さの処理においてどの程度効果的か？
• RQ4 注意に基づく未知語置換は、NMTシステムの翻訳品質を向上させるのか？
• RQ5 限られた規模のトレーニングデータを前提とした場合、モデルサイズおよびアーキテクチャの影響は何か？

主な発見

• ニューラルMTシステムはフレーズベースMTを上回り、文字単位のモデリングとUNK置換を用いた場合、10.86のBLEUスコアを達成した。これに対してPBMTは9.31のスコアを記録した。
• UNK置換を組み込んだ文字単位のNMTモデル（10.86 BLEU）は、すべてのPBMTバージョン、包括的にトークン化を施した場合を含めて、著しく優れている。
• FarasaおよびMADAMIRAによるトークン化は、PBMTのパフォーマンスをわずかに向上（BLEU: 9.51–9.63）させるが、有意差は認められない。
• 文字単位の符号化を用いたNMTモデル（10.65 BLEU）は、標準NMT（9.91 BLEU）に比べ、顕著かつ有意に高い性能を示した。
• 注意重みを用いたUNK語置換により、BLEUスコアが10.65から10.86に上昇し、明確な向上効果が得られた。
• より大きなおよびより深いNMTモデルは、顕著なパフォーマンス向上をもたらさず、データ量の制限がモデル容量の向上を制限していると考えられる。