[論文レビュー] Recurrent Neural Machine Translation

Biao Zhang, Deyi Xiong+1 more|arXiv (Cornell University)|Jul 29, 2016

Natural Language Processing Techniques参考文献 26被引用数 9

ひとこと要約

本論文は、標準的なアテンション機構を置き換え、長期間の依存関係をよりよく捉えるために、ターゲットの直前の隠れ状態を初期状態とし、ソースのアノテーションを入力とする再帰的ニューラルネットワーク（コンテキスタ）を用いる再帰的ニューラル機械翻訳（RNMT）モデルを提案する。中国語-英語翻訳の実験では、RNMTは標準的なアテンションベースのNMTを上回り、特に長い文において顕著な性能向上を示す。また、コンテキスタ部の構造により、アライメントを暗黙的にモデル化している。

ABSTRACT

The vanilla attention-based neural machine translation has achieved promising performance because of its capability in leveraging varying-length source annotations. However, this model still suffers from failures in long sentence translation, for its incapability in capturing long-term dependencies. In this paper, we propose a novel recurrent neural machine translation (RNMT), which not only preserves the ability to model varying-length source annotations but also better captures long-term dependencies. Instead of the conventional attention mechanism, RNMT employs a recurrent neural network to extract the context vector, where the target-side previous hidden state serves as its initial state, and the source annotations serve as its inputs. We refer to this new component as contexter. As the encoder, contexter and decoder in our model are all derivable recurrent neural networks, our model can still be trained end-to-end on large-scale corpus via stochastic algorithms. Experiments on Chinese-English translation tasks demonstrate the superiority of our model to attention-based neural machine translation, especially on long sentences. Besides, further analysis of the contexter revels that our model can implicitly reflect the alignment to source sentence.

研究の動機と目的

• 長文の処理において、長期間の依存関係のモデル化が不十分であるため、アテンションベースのニューラル機械翻訳の限界を解消すること。
• 可変長のソースシーケンスを処理できる能力を維持しつつ、文脈モデルの向上を図ること。
• エンコーダ、コンテキスタ、デコーダに再帰的構造を用いた微分可能でエンドツーエンドで学習可能なアーキテクチャを構築すること。
• 短いシーケンスの性能を損なわずに、長シーケンスの翻訳品質を向上させること。
• コンテキスタが、明示的なアライメントモデルなしに、ソース文とターゲット文の間のアライメントを暗黙的に反映しているかどうかを調査すること。

提案手法

• 標準的なアテンション機構を、ソースのアノテーションを入力とし、ターゲットの直前の隠れ状態を初期隠れ状態とする再帰的ニューラルネットワーク（コンテキスタ）に置き換える。
• コンテキスタを用いて、標準的なアテンションよりも長距離の依存関係をより効果的に捉えたコンテキストベクトルを生成する。
• エンコーダ、コンテキスタ、デコーダを微分可能で再帰的なネットワークとして設計し、確率的最適化を用いたエンドツーエンド学習を可能にする。
• 大規模な並列コーパス上で、確率的勾配降下法や類似手法を用いて、モデル全体を学習する。
• コンテキスタの再帰的構造を活用し、時間ステップにわたって隠れ状態を維持・更新することで、動的かつ逐次的なコンテキスト集約を実現する。
• コンテキスタの再帰的ダイナミクスを通じてアライメントパターンを学習することにより、明示的なアライメントモデルなしに、アライメントを暗黙的にモデル化する。

実験結果

リサーチクエスチョン

• RQ1 再帰的アプローチに基づくコンテキストベクトル生成機構は、標準的なアテンションと比較して、長シーケンス翻訳の性能向上に寄与するか？
• RQ2 提案されたコンテキスタ部は、従来のアテンションと比較して、ソースシーケンス内の長期的依存関係をより効果的に捉えられるか？
• RQ3 明示的なアライメントモデルなしに、コンテキスタはソース文とターゲット文の間のアライメントを暗黙的に反映できるか？
• RQ4 中国語-英語翻訳において、RNMTモデルは標準的なアテンションベースのNMTと比較して、長文の翻訳性能で優れているか？
• RQ5 コンテキスタ部は、モデルの他の部分とエンドツーエンドで学習可能であり、性能向上を維持できるか？

主な発見

• RNMTモデルは、特に長い文において、標準的なアテンションベースのNMTよりも優れた翻訳性能を達成している。
• コンテキスタ部は、時間ステップにわたって隠れ状態を維持・更新することで、長期的依存関係を効果的にモデル化している。
• コンテキスタのダイナミクスを通じて、ソース文とターゲット文の間のアライメントが暗黙的に反映されている。
• 微分可能な再帰的コンponentを備えるため、RNMTモデルは確率的最適化アルゴリズムを用いてエンドツーエンドで学習可能である。
• 中国語-英語翻訳タスクにおける実験により、RNMTは長シーケンスの処理においてベースラインモデルを上回ることが確認された。
• コンテキスタの再帰的構造により、長コンテキストの状況下で、標準的なアテンション機構よりも効果的なコンテキスト集約が可能になっている。