[論文レビュー] Supervised Attentions for Neural Machine Translation

Haitao Mi, Zhiguo Wang+1 more|arXiv (Cornell University)|Jul 30, 2016

Natural Language Processing Techniques参考文献 16被引用数 29

ひとこと要約

本稿では、神経機械翻訳（NMT）のための教師ありアテンションメカニズムを提案する。この手法は、GIZA++ や MaxEnt からのゴールドスタンダードのアライメントと、モデルが生成するアテンション重みとの距離を最小化することで、アライメントの正確性を向上させる。アライメント行列の滑らかさを考慮した変換を用いて翻訳とアライメントの目的関数を同時に最適化することで、BLEU スコアとアライメント F1 の両方で顕著な向上を達成し、強力な大規模語彙 NMT システムおよび最先端の構文ベースのシステムを上回る性能を発揮する。

ABSTRACT

In this paper, we improve the attention or alignment accuracy of neural machine translation by utilizing the alignments of training sentence pairs. We simply compute the distance between the machine attentions and the "true" alignments, and minimize this cost in the training procedure. Our experiments on large-scale Chinese-to-English task show that our model improves both translation and alignment qualities significantly over the large-vocabulary neural machine translation system, and even beats a state-of-the-art traditional syntax-based system.

研究の動機と目的

• 従来のアライメントモデルと比較して、しばしば最適でないアテンションアライメントの正確性を向上させること。
• 標準的な NMT モデルが翻訳品質の最適化のみを実施し、アライメントの忠実性を無視するという限界を是正すること。
• GIZA++ や MaxEnt からの教師ありアライメントを、アテンションメカニズムの訓練をより効果的に行うための監視信号として活用すること。
• 翻訳品質（BLEU）とアライメント品質（F1）を同時に向上させるための統合最適化フレームワークを通じて、両方の指標を向上させること。
• アライメントの監視と滑らかさ変換が、NMT におけるより明確で正確なアテンション分布をもたらすかどうかを調査すること。

提案手法

• 予測されたアテンション重みとゴールドスタンダードのアライメント（例：GIZA++ や MaxEnt からのもの）との間のアライメント距離コストを、NMT の訓練目的関数に組み込む。
• ゴールドアライメントに二段階の変換を適用する：まず行単位の正規化により確率分布を形成し、次に滑らかさを考慮した変換を施して安定性とアライメント品質を向上させる。
• 翻訳尤度とアライメント距離の両方を同時に最適化するため、両方の損失をバランスさせる統合目的関数を用いて NMT モデルを最適化する。
• ゲート付き再帰型ユニット（GRU）デコーダーと二層の全結合ネットワークを用いてアテンション重みを計算し、アテンション分布は適合関数のソフトマックスによって算出する。
• アライメント行列に滑らかさ技術（Gau.）を適用してノイズを低減し、特に低確率アライメントの一般化性能を向上させる。
• バックプロパゲーションを用いてエンドツーエンドでモデルを訓練し、勾配が翻訳およびアライメントの両成分を通過するようにする。

実験結果

リサーチクエスチョン

• RQ1 教師ありアライメント信号が、NMT モデルにおけるアテンション分布の品質を顕著に向上させることができるか？
• RQ2 翻訳とアライメントの両方を同時に最適化することは、翻訳のみを最適化する場合よりも優れた性能をもたらすか？
• RQ3 アライメントソースの選択（例：GIZA++ 対 MaxEnt）が、最終的な NMT の性能にどのように影響するか？
• RQ4 アライメント行列に滑らかさ変換を適用することで、アテンション学習のロバスト性と正確性が向上するか？
• RQ5 アライメントの監視が、自動評価指標（BLEU）と人間評価によるアライメント F1 スコアの両方の向上をもたらすか？

主な発見

• 統合最適化（J + Gau.）を用いた本手法は、ベースラインの大規模語彙 NMT（LVNMT）システムに対して 1.2 ポイントの BLEU スコア向上を達成し、最先端の構文ベースのシステムに対しても 0.3 ポイントの向上を示した。
• アライメント F1 スコアは、ベースラインの LVNMT が 45.76 であったのに対し、MaxEnt アライメントを用いた J + Gau. では 51.94 に上昇し、相対的に 6.18 ポイントの改善を達成した。
• 統合最適化戦略（J）は、アライメント（A）と翻訳（T）の成分を別々に最適化する手法を上回り、エンドツーエンドの統合学習が不可欠であることを示している。
• MaxEnt アライメントを監視信号として用いることで、再現率（55.38）と F1（51.94）が GIZA++ や Zh→En よりも高く、MaxEnt がより明確で情報量の多いアライメント信号を提供していることが示された。
• 滑らかさ変換（Gau.）は、BLEU および F1 スコアの両方を一貫して向上させ、すべてのテストセットで LVNMT に対して統計的に有意な BLEU の向上（p < 0.01）を示した。
• 便宜ペナルティ（BP）がアライメントコストを追加した後、向上した。これは、モデルが出力する翻訳が人間の翻訳と長さが近づいたことを示している。