[論文レビュー] Neural Machine Translation with Reconstruction

Zhaopeng Tu, Yang Liu+3 more|arXiv (Cornell University)|Nov 7, 2016

Natural Language Processing Techniques参考文献 22被引用数 58

ひとこと要約

本稿では、エンコーダ・デコーダ・リコンストラクタフレームワークを提案し、デコーダの隠れ状態から元のソース文を再構築するリコンストラクタを訓練することにより、神経機械翻訳（NMT）における翻訳の的確性を向上させる。学習および推論時に尤度スコアと再構築スコアを組み合わせることで、モデルは翻訳品質を著しく向上させ、強力なアテンションベースNMTよりも2.3 BLEU向上、SMTシステムよりも4.5 BLEU向上を達成した。

ABSTRACT

Although end-to-end Neural Machine Translation (NMT) has achieved remarkable progress in the past two years, it suffers from a major drawback: translations generated by NMT systems often lack of adequacy. It has been widely observed that NMT tends to repeatedly translate some source words while mistakenly ignoring other words. To alleviate this problem, we propose a novel encoder-decoder-reconstructor framework for NMT. The reconstructor, incorporated into the NMT model, manages to reconstruct the input source sentence from the hidden layer of the output target sentence, to ensure that the information in the source side is transformed to the target side as much as possible. Experiments show that the proposed framework significantly improves the adequacy of NMT output and achieves superior translation result over state-of-the-art NMT and statistical MT systems.

研究の動機と目的

• エンドツーエンドNMTにおいて、モデルが特定のソース語を無視したり過剰に翻訳したりする的確性の欠如問題に対処すること。
• 尤度に基づくデコーディングの非最適性に対処すること。これは短い翻訳を好む傾向があり、ビームサイズが大きくなると性能が向上しない。
• 再構築を補助目的として組み込むことで、学習と推論の両方を統一的に向上させるフレームワークを導入すること。
• 特に的確性の問題が顕著になる長文翻訳において、翻訳性能を向上させること。
• 共同最適化を通じて、流暢さと的確性の両方の向上を実現する再構築の有効性を検証すること。

提案手法

• 標準NMTに拡張し、デコーダの隠れ状態を入力として受け取り、元のソース文を再構築するリコンストラクタを導入する。
• 再構築スコア R(x|s) は、ターゲット側の隠れ状態がソース情報をどの程度保持しているかを測定し、補助目的として機能する。
• 尤度 P(y|x) と再構築スコア R(x|s) の線形補間が、学習中に使用される結合目的関数を形成する。
• 推論時には、結合スコアがビームサーチをガイドし、より大きな探索空間における翻訳候補の再順序付けを可能にする。
• リコンストラクタは、バックプロパゲーションを用いてエンコーダ・デコーダと同時にエンドツーエンドで訓練され、隠れ状態が完全なソース情報を符号化していることを保証する。
• 本フレームワークはアテンション機構と互換性があり、カバレッジやコンテキストゲートなどの既存技術と組み合わせて利用可能である。

実験結果

リサーチクエスチョン

• RQ1 デコーダの隠れ状態からソース文を再構築するリコンストラクタは、NMTにおける翻訳の的確性を向上させることができるか？
• RQ2 尤度スコアと再構築スコアを組み合わせることで、尤度のみの学習に比べて、学習および推論性能が向上するか？
• RQ3 ビームサーチのサイズが増加する状況では、標準NMTが改善しない中で、本手法は性能を向上させるか？
• RQ4 リコンストラクタベースのアプローチは、標準ベンチマーク上での最先端SMTおよびNMTシステムを上回る性能を示すか？
• RQ5 情報カバレッジが最も重要となる長文において、本モデルは特に高い向上を示すか？

主な発見

• 提案手法は、WMT 2014 英語→ドイツ語翻訳タスクにおいて、強力なアテンションベースNMTシステム（RNNSearch）よりも2.3 BLEUポイント向上した。
• 最先端のSMTシステムよりも4.5 BLEUポイント向上を達成し、顕著な競争優位性を示した。
• ビームサイズが増加する際も、標準NMTとは異なり、モデルは一貫して翻訳性能を向上させた。
• 特に長文において向上が顕著であり、リコンストラクタが欠落翻訳や過剰翻訳を効果的に軽減していることが確認された。
• カバレッジおよびコンテキストゲート機構と組み合わせた場合、34.09 BLEUスコアを達成し、すべてのベースライン設定を上回った。
• 再構築スコアは的確性を効果的に測定し、ビームサーチにおける再順序付けを改善した。これにより、意味のある補助目的としての役割が裏付けられた。