[論文レビュー] Neural Machine Translation with Recurrent Attention Modeling

Zichao Yang, Zhiting Hu+3 more|arXiv (Cornell University)|Jul 18, 2016

Natural Language Processing Techniques参考文献 13被引用数 14

ひとこと要約

本稿では、各ソース語ごとに別個のRNNを用いて注目履歴を要約することで、ニューラル機械翻訳における過去および将来の注目意思決定の依存関係をモデル化する再帰的注目メカニズムを提案する。この動的メモリを注目計算に組み込むことで、中国語-英語翻訳で最大1.5 BLEUポイント、英語-ドイツ語翻訳で最大0.7 BLEUポイントの翻訳品質向上を達成し、先行の注目モデルおよび最先端のベースラインを上回る性能を発揮する。

ABSTRACT

Knowing which words have been attended to in previous time steps while generating a translation is a rich source of information for predicting what words will be attended to in the future. We improve upon the attention model of Bahdanau et al. (2014) by explicitly modeling the relationship between previous and subsequent attention levels for each word using one recurrent network per input word. This architecture easily captures informative features, such as fertility and regularities in relative distortion. In experiments, we show our parameterization of attention improves translation quality.

研究の動機と目的

• 時系列の各ステップにおける注目意思決定同士の依存関係を明示的にモデル化することで、ニューラル機械翻訳の性能を向上させること。
• 既存の注目メカニズムが各注目ステップを独立して扱い、歴史的なアライメントパターンを無視するという限界を是正すること。
• 注目履歴の再帰的モデリングにより、語の肥沃度や相対的歪みといった構造的規則性を捉えること。
• 可変長のソース文を処理しつつ、長距離のカバレッジおよび順序制約を学習する手法を開発すること。
• 標準的な注目ベースのNMTモデルおよび先行の最先端システムを、ベンチマーク翻訳タスクで上回ること。

提案手法

• 各ソース語に対して、過去のアライメント意思決定の固定サイズのウィンドウ内の注目履歴を要約する別個の再帰的ネットワークを用いる。
• このRNNの隠れ状態（注目履歴を表す）を、ソース語のコンテキストベクトルと連結して、動的メモリ表現を形成する。
• この動的メモリを、静的コンテキストベクトルとともに注目メカニズムに組み込み、現在のターゲット語の注目重みを計算する。
• 注目メカニズムは、双曲正接非線形関数とソフトマックス正規化を用いた適合関数を用いたコンテンツベースのアドレッシングを採用する。
• デコーダーは、重み付き和としてのコンテキストベクトルを計算するための適合関数によって重みが決定される、LSTMを用いる。
• モデルは確率的勾配降下法で学習され、学習率の減少と勾配クリッピングを含み、OOV（未知語）の取り扱いを改善するためのUNK置換戦略を導入する。

実験結果

リサーチクエスチョン

• RQ1 注目意思決定間の順序的依存関係をモデル化することで、ニューラル機械翻訳の性能向上が達成できるか？
• RQ2 独立した注目メカニズムと比較して、歴史的注目パターンを組み込むことで翻訳品質にどのような影響を与えるか？
• RQ3 注目履歴ウィンドウのサイズを変化させた場合、翻訳性能にどのような影響を与えるか？
• RQ4 提案手法は、語の肥沃度やアライメントにおける相対的歪みといった言語的規則性をよりよく捉えることができるか？
• RQ5 標準的なMTベンチマークで、RNNSearch や4層LSTMに注目機能を備えたモデルといった強力なベースラインを上回るか？

主な発見

• 提案モデルは、ベースラインのRNNSearchモデルと比較して、英語-ドイツ語のnewstest2015セットで0.7 BLEUポイントのスコア向上を達成した。
• 注目履歴のウィンドウサイズを11に設定した場合、中国語-英語テストセットでベースライン比1.5 BLEUポイントの向上を達成した。
• 提案された注目メカニズムとUNK置換戦略の組み合わせにより、英語-ドイツ語でのスコアが25.0 BLEUにまで向上し、先行の最先端モデルを0.8 BLEUポイント上回った。
• 中国語-英語のMT05テストセットでは29.3 BLEUのスコアを達成し、報告済みの最高スコアを1.6 BLEUポイント上回った。
• 中国語-英語翻訳では英語-ドイツ語翻訳よりもスコア向上が顕著であり、これはソース言語とターゲット言語の間で共通語彙が少ないことが要因と考えられる。
• 実験の結果、隠れ状態による間接的モデリングやカバレッジのみを考慮するアプローチよりも、RNNによる注目履歴モデリングがより効果的であることが示された。