[論文レビュー] Decoding-History-Based Adaptive Control of Attention for Neural Machine Translation

Junyang Lin, Shuming Ma+2 more|arXiv (Cornell University)|Feb 6, 2018

Natural Language Processing Techniques参考文献 9被引用数 15

ひとこと要約

本稿では、復号履歴を追跡するメモリベクトルを用いて注意機構を動的に制御することで、繰り返しを低減し翻訳精度を向上させる、復号履歴に基づく適応的注意制御（ACA）を提案する。実験の結果、強力なベースライン比で中国語-英語翻訳で3.61 BLEU、英語-ベトナム語翻訳で1.17 BLEUの顕著な向上が得られた。

ABSTRACT

Attention-based sequence-to-sequence model has proved successful in Neural Machine Translation (NMT). However, the attention without consideration of decoding history, which includes the past information in the decoder and the attention mechanism, often causes much repetition. To address this problem, we propose the decoding-history-based Adaptive Control of Attention (ACA) for the NMT model. ACA learns to control the attention by keeping track of the decoding history and the current information with a memory vector, so that the model can take the translated contents and the current information into consideration. Experiments on Chinese-English translation and the English-Vietnamese translation have demonstrated that our model significantly outperforms the strong baselines. The analysis shows that our model is capable of generating translation with less repetition and higher accuracy. The code will be available at https://github.com/lancopku

研究の動機と目的

• 神経機械翻訳（NMT）モデルにおける注意機構が、過去に生成された内容を認識していないために繰り返し翻訳が生じる問題に対処すること。
• 特に、過去のデコーダー状態と注意アライメントを含む復号履歴を注意制御に組み込むことで翻訳品質を向上させること。
• 以前に生成された翻訳に応じて注意がより適応的になるメカニズムを構築し、スムーズさと正確性を向上させること。
• 現在の入力と復号履歴の相互作用をモデル化することで、より一貫性があり、冗長性の少ない翻訳が得られることを示すこと。

提案手法

• デコーダーの隠れ状態と直前の注意ベクトルから更新されるメモリベクトルを導入し、復号履歴を符号化する。
• メモリベクトルを用いて現在の注意メカニズムを変調し、源文脈選択時に過去の翻訳を考慮できるようにする。
• クエリベクトルにメモリベクトルを組み込むことで注意エネルギーの計算を変更し、注意重みの動的制御を可能にする。
• 各復号ステップでメモリベクトルを更新するゲート付きメカニズムを採用し、新しい情報を統合しながらも歴史的文脈を保持する。
• 双方向LSTMエンコーダーと単方向LSTMデコーダーを用いた注意ベースのエンコーダー・デコーダー構造にACAメカニズムを統合する。
• ACAはアーキテクチャの大規模な見直しを伴わず、標準的な交差エントロピー損失を用いてエンドツーエンドで学習可能である。

実験結果

リサーチクエスチョン

• RQ1 復号履歴をモデル化することで、神経機械翻訳における注意機構の性能を向上させられるか？
• RQ2 過去のデコーダー状態と注意アライメントを組み込むことで、翻訳の繰り返しが減少するか？
• RQ3 現在の入力と過去の出力を両方考慮する適応的注意メカニズムは、翻訳のスムーズさと正確性を向上させられるか？
• RQ4 標準的な注意機構と比較して、長文翻訳において提案されたACAメカニズムはどの程度の性能を示すか？

主な発見

• ACAモデルは中国語-英語翻訳タスクにおいて、最も強力なベースライン比で3.61 BLEUポイントの向上を達成した。
• 英語-ベトナム語翻訳タスクでは、最良のベースライン比で1.17 BLEUポイントの向上を達成した。
• 繰り返しフレーズ（例：NIST 2003の例で「the Russian capital of Moscow」が複数回出現するなど）が顕著に減少した。
• 翻訳例では、ACAがより正確で一貫性のある出力を生成しており、名前や副詞的フレーズの複雑な構造の再配置も正しく行っている。
• さまざまな文長にわたり一貫した性能向上を示し、特に長文においてベースラインを上回った。
• 除去実験の結果、メモリベクトルと適応的制御メカニズムが性能向上に不可欠であることが確認され、除去によりBLEUスコアが2ポイント以上低下した。