[論文レビュー] QCRI Machine Translation Systems for IWSLT 16

Nadir Durrani, Fahim Dalvi+2 more|arXiv (Cornell University)|Jan 14, 2017

Natural Language Processing Techniques参考文献 28被引用数 20

ひとこと要約

本論文では、IWSLT 2016のアラビア語-英語および英語-アラビア語翻訳タスクにおけるQCRIのフレーズベース翻訳およびニューラル機械翻訳（NMT）システムを提示する。NMTシステムは、UN、OPUS、およびドメイン特化したTED/QEDデータを用いて段階的微調整で訓練され、8つのモデルのアンサンブルを採用しており、アラビア語→英語方向で強力なフレーズベースシステムを2 BLEUポイント上回った。これは、効果的なドメイン適応技術を用いた低リソース・マルチドメイン環境下でNMTの優位性を示している。

ABSTRACT

This paper describes QCRI's machine translation systems for the IWSLT 2016 evaluation campaign. We participated in the Arabic->English and English->Arabic tracks. We built both Phrase-based and Neural machine translation models, in an effort to probe whether the newly emerged NMT framework surpasses the traditional phrase-based systems in Arabic-English language pairs. We trained a very strong phrase-based system including, a big language model, the Operation Sequence Model, Neural Network Joint Model and Class-based models along with different domain adaptation techniques such as MML filtering, mixture modeling and using fine tuning over NNJM model. However, a Neural MT system, trained by stacking data from different genres through fine-tuning, and applying ensemble over 8 models, beat our very strong phrase-based system by a significant 2 BLEU points margin in Arabic->English direction. We did not obtain similar gains in the other direction but were still able to outperform the phrase-based system. We also applied system combination on phrase-based and NMT outputs.

研究の動機と目的

• ニューラル機械翻訳（NMT）が低リソースなアラビア語-英語翻訳タスクにおいてフレーズベースMTを上回るかどうかを評価すること。
• 特に限られたドメイン特化データ（例：TEDトークス）を有するマルチドメインMTにおいて、効果的なドメイン適応戦略を調査すること。
• 実世界のマルチソースデータ環境下で、フレーズベースとNMTシステムの有効性およびトレーニングの複雑さを比較すること。
• 翻訳品質の向上を図るためのデータフィルタリング、モデル結合、微調整技術の検討。

提案手法

• Mosesツールキットを用いて、OSM、NNJM、クラスベースモデル、大規模言語モデルなどの高度な特徴を備えた強力なフレーズベースMTシステムを訓練した。
• MMLベースのデータフィルタリングを適用し、関連性の高いドメイン内およびドメイン外データを選別することで、大規模なUNおよびOPUSコーパスからのノイズを低減した。
• NNJMモデルをドメイン外データで微調整し、さらにドメイン内TEDデータでさらに微調整することで、ドメイン適応を向上させた。
• Nematusツールキットを用いて、双方向LSTM（1024ユニット）、500次元の単語埋め込み、微調整時におけるドロップアウトを備えたニューラルMTシステムを構築した。
• NMTシステムを段階的に訓練した：まずUNデータで、次にOPUSデータで、最後にドメイン内TEDおよびQEDデータで微調整した。
• OPUS段階の最後から8つのモデルをドメイン内データで微調整することで、8つのNMTモデルのアンサンブルを作成し、耐性および性能を向上させた。

実験結果

リサーチクエスチョン

• RQ1 限られたドメイン内データを有するアラビア語-英語翻訳タスクにおいて、ニューラル機械翻訳がフレーズベース翻訳を上回るか？
• RQ2 マルチドメイン環境下で、NMTシステムのための段階的事前学習および微調整戦略はどの程度効果的か？
• RQ3 データフィルタリング（例：MML）は、ノイズが多くドメイン外のデータに対してフレーズベースMTの性能を向上させる役割を果たすか？
• RQ4 フレーズベースとNMTシステムの結合は、翻訳品質の向上に顕著な効果をもたらすか？
• RQ5 新しいドメインに適応する際、NMTシステムの複雑さと再利用可能性は、フレーズベースシステムと比べてどうか？

主な発見

• NMTシステムは、公式テストセットで34.6 BLEUを達成し、アラビア語→英語方向でフレーズベースシステムを2 BLEUポイント上回った。
• 英語→アラビア語方向では、NMTシステムはフレーズベースシステムを1.8 BLEUポイント上回り、公式テストセットで18.5 BLEUを記録した。
• 8つの微調整済みNMTモデルのアンサンブルにより、TEDテストセットでの平均BLEUスコアが33.7から34.6に向上し、最高性能が達成された。
• UNおよびOPUSデータで事前学習した後、ドメイン内TEDデータでNMTモデルを微調整することが、特にアラビア語→英語方向での性能向上に不可欠であった。
• MEMTを用いたシステム結合は、アラビア語→英語方向ではわずかな向上をもたらし、英語→アラビア語方向ではややの向上を示したが、全体の性能向上には顕著な寄与を示さなかった。
• NMTシステムは、QEDなどの新しいドメインに微調整により容易に適応可能であったのに対し、フレーズベースシステムはドメイン適応のため全コンponentの再トレーニングが必要であった。