[論文レビュー] Learning to Parse and Translate Improves Neural Machine Translation

Akiko Eriguchi, Yoshimasa Tsuruoka+1 more|arXiv (Cornell University)|Feb 12, 2017

Natural Language Processing Techniques参考文献 30被引用数 21

ひとこと要約

本稿では、注意機構を備えたNMTデコーダーに再帰的ニューラルネットワーク文法（RNNG）を統合することで、構文解析と翻訳を同時に学習するハイブリッドニューラル機械翻訳モデルNMT+RNNGを提案する。外部のパーサーを用いて訓練時に翻訳と構文解析行動の予測を同時に最適化することで、追加の推論コストなしに翻訳品質を向上させ、4つの言語対において顕著なBLEUおよびRIBESの向上を達成した。特に日本語-英語およびロシア語-英語対で顕著な改善が見られた。

ABSTRACT

There has been relatively little attention to incorporating linguistic prior to neural machine translation. Much of the previous work was further constrained to considering linguistic prior on the source side. In this paper, we propose a hybrid model, called NMT+RNNG, that learns to parse and translate by combining the recurrent neural network grammar into the attention-based neural machine translation. Our approach encourages the neural machine translation model to incorporate linguistic prior during training, and lets it translate on its own afterward. Extensive experiments with four language pairs show the effectiveness of the proposed NMT+RNNG.

研究の動機と目的

• 文法的事前知識としての構文解析を組み込むことで、ニューラル機械翻訳の性能が向上するかどうかを調査すること。
• 推論時に外部の言語学的ツールを必要とする従来手法の制限を解消すること。
• 翻訳と句構造解析の間のマルチタスク学習を検討し、モデルの一般化能力を向上させること。
• 訓練中に暗黙的に句構造を学習できる統一的でエンドツーエンドで学習可能なモデルを開発すること。
• 構文的複雑さの異なる多様な言語対において、提案手法の有効性を評価すること。

提案手法

• モデルは、注意機構を備えたNMTデコーダーと再帰的ニューラルネットワーク文法（RNNG）を組み合わせ、翻訳文のトークンとその構文解析行動を同時に予測する。
• RNNG部は、出力トークン用のバッファ、構文構造用のスタック、および解析行動の履歴を備え、NMT部とRNNG部の間で単語埋め込みを共有する。
• 訓練段階では、翻訳の尤度と正しい解析行動シーケンスの尤度の両方を最大化するように最適化される。
• 外部の依存構文解析器（Andor et al., 2016）が訓練時の監視に用いられるが、テスト時には不要である。
• 推論段階では、開発セット上でチューニングされたビーム幅を用いたビームサーチが使用され、訓練には勾配クリッピングと学習率の減少を伴う確率的勾配降下法が用いられる。
• RNNGデコーダーは翻訳と同時に依存構文木を生成し、EOSトークンは構文木におけるROOTノードとして扱われる。

実験結果

リサーチクエスチョン

• RQ1 構文解析と翻訳の同時学習は、ニューラル機械翻訳の性能向上に寄与するか？
• RQ2 RNNGによる構文構造の組み込みは、推論時に外部パーサーを必要とせずに翻訳品質を向上させるか？
• RQ3 RNNGの各構成要素（バッファ、スタック、行動予測）は、全体の翻訳性能にどのように寄与しているか？
• RQ4 構文構造の異なる言語対において、提案手法による改善は一貫しているか？
• RQ5 明示的な言語学的特徴を用いずに、マルチタスク学習によって有用な言語的事前知識を暗黙的に学習できるか？

主な発見

• NMT+RNNGモデルは、4つの言語対のうち3つ（JP-En、Ru-En、Cs-En）で統計的に有意なBLEUスコアの向上を達成し、JP-Enでは0.96 BLEUポイントの向上（17.88から18.84）を記録した。
• RIBESスコアについても、4つの言語対すべてで向上し、特にJP-Enで最大の向上（72.25対71.27）を示し、より自然で的確な翻訳であることを示した。
• アブレーションスタディの結果、RNNGの任意の構成要素（特にスタック）を削除すると性能が著しく低下し、スタックの欠落が最も大きな悪影響を与えた。
• バッファ、スタック、行動予測の3つのRNNG構成要素がすべて存在する場合にのみ最良の性能が得られ、それらの共同必要性が確認された。
• 提案手法は、推論時のパラメータ数や計算コストを増加させることなく、標準NMTと同等の効率性を維持しながら改善を達成した。
• 定性的な例では、モデルが正しい依存構文木を正しく生成していることが確認されたが、わずかな誤り（例：誤った依存関係）も観察された。