[論文レビュー] Neural Phrase-based Machine Translation

Po-Sen Huang, Chong Wang+2 more|arXiv (Cornell University)|Jun 17, 2017

Natural Language Processing Techniques参考文献 10被引用数 24

ひとこと要約

本稿では、神経機械翻訳におけるフレーズ構造を明示的にモデル化するため、Sleep-WAke Network（SWAN）を用いたニューラルフレーズベース翻訳（NPMT）を提案する。SWANの単調なアライメント制約を緩和するためのソフトローカル再配置層を組み込み、アテンション機構を用いずにIWSLT 2014ドイツ語-英語翻訳タスクで最先端の性能を達成し、意味的なフレーズレベルの出力を生成する。

ABSTRACT

In this paper, we propose Neural Phrase-based Machine Translation (NPMT). Our method explicitly models the phrase structures in output sequences through Sleep-WAke Networks (SWAN), a recently proposed segmentationbased sequence modeling method. To alleviate the monotonic alignment requirement of SWAN, we introduce a new layer to perform (soft) local reordering of input sequences. Our experiments show that NPMT achieves state-of-the-art results on IWSLT 2014 German-English translation task without using any attention mechanisms. We also observe that our method produces meaningful phrases in the output language.

研究の動機と目的

• 出力系列におけるフレーズ構造を明示的にモデル化することで、ニューラル機械翻訳を改善すること。
• シーケンスモデリングにおけるSleep-Wake Network（SWAN）の単調なアライメント制約を解決すること。
• 意味的に意味のあるフレーズを生成するフレーズベースのニューラル翻訳システムを開発すること。
• アテンション機構に依存せずに、競争力のある翻訳性能を達成すること。

提案手法

• NPMTは、翻訳出力におけるフレーズレベルの構造を捉えるために、セグメンテーションベースのシーケンスモデリング手法であるSleep-Wake Network（SWAN）を採用する。
• SWANの厳密な単調なアライメント制約を緩和するため、新規のソフトローカル再配置層を導入し、より柔軟な入力シーケンス処理を可能にする。
• モデルはデコードプロセスに直接フレーズに敏感なモデリングを統合し、複数語表現の構造的な生成を可能にする。
• 外部のアテンションモジュールを一切使用せずに、標準的なシーケンス・トゥ・シーケンスの目的関数に基づき、エンド・ツー・エンドでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 セグメンテーションベースのシーケンスモデリングを用いて、ニューラル機械翻訳でフレーズ構造を効果的にモデル化できるか？
• RQ2 SWANにおける単調なアライメント制約を緩和することで、翻訳性能が向上するか？
• RQ3 アテンション機構を用いずに、フレーズベースのニューラル翻訳システムが強力な結果を達成できるか？
• RQ4 生成された出力に意味的に意味のあるフレーズが含まれるか？

主な発見

• NPMTは、アテンション機構を一切使用せずに、IWSLT 2014ドイツ語-英語翻訳ベンチマークで最先端の結果を達成した。
• モデルは出力言語において意味的で一貫性のあるフレーズを生成しており、効果的なフレーズレベルの学習が行われていることを示している。
• ソフトローカル再配置層は、SWANにおける単調なアライメントの硬さを効果的に緩和し、モデリングの柔軟性を向上させた。
• SWANによるフレーズベースのモデリング統合により、より構造的で解釈可能な翻訳出力が得られた。