[論文レビュー] Asynchronous Bidirectional Decoding for Neural Machine Translation

Xiangwen Zhang, Jinsong Su+4 more|arXiv (Cornell University)|Jan 16, 2018

Natural Language Processing Techniques参考文献 27被引用数 32

ひとこと要約

本稿では、ニューラル機械翻訳における非同期双方向デコード（ABD）を提案する。後向きデコーダーを導入し、右から左へとターゲット側の文脈を生成する。その後向きデコーダーは、元のデコーダーとともに、ソース側の文脈と併せて共同で注意機構を用いる。この手法により、エンドツーエンドのフレームワーク内で双方向の文脈を有効に活用し、中国語-英語翻訳タスクで+3.14 BLEU、英語-ドイツ語翻訳タスクで+1.38 BLEUの向上を達成した。

ABSTRACT

The dominant neural machine translation (NMT) models apply unified attentional encoder-decoder neural networks for translation. Traditionally, the NMT decoders adopt recurrent neural networks (RNNs) to perform translation in a left-toright manner, leaving the target-side contexts generated from right to left unexploited during translation. In this paper, we equip the conventional attentional encoder-decoder NMT framework with a backward decoder, in order to explore bidirectional decoding for NMT. Attending to the hidden state sequence produced by the encoder, our backward decoder first learns to generate the target-side hidden state sequence from right to left. Then, the forward decoder performs translation in the forward direction, while in each translation prediction timestep, it simultaneously applies two attention models to consider the source-side and reverse target-side hidden states, respectively. With this new architecture, our model is able to fully exploit source- and target-side contexts to improve translation quality altogether. Experimental results on NIST Chinese-English and WMT English-German translation tasks demonstrate that our model achieves substantial improvements over the conventional NMT by 3.14 and 1.38 BLEU points, respectively. The source code of this work can be obtained from https://github.com/DeepLearnXMU/ABDNMT.

研究の動機と目的

• 従来のNMTデコーダーが左から右へのターゲット側文脈しか使用しないという制限を解消し、誤りの伝搬や補完的信号の欠落を防ぐこと。
• 右から左へのデコーディングで生成される逆方向のターゲット側文脈が、前方デコーディングプロセスに統合された場合に翻訳品質が向上するかどうかを検証すること。
• 別々の再ランク付けや独立したモデルに依存せずに、前方および後向きデコーディングパスを同時に学習するエンドツーエンドのNMTフレームワークを設計すること。
• ノイズの多い前方文脈からの誤り伝搬を、後向きデコーダーが提供するより豊富で補完的な文脈によって軽減すること。
• 前方および後向きデコーダーが推論中に動的に貢献する統一アーキテクチャを構築し、翻訳の耐性および正確性を向上させること。

提案手法

• 右から左への順序でターゲット側の隠れ状態を生成する後向きRNNデコーダーを導入し、シーケンスの終端から翻訳仮説を符号化する。
• 前方デコーダーに二つの独立したアテンションメカニズムを採用：一つはエンコーダーの双方向隠れ状態に注目し、もう一つは後向きデコーダーの隠れ状態に注目する。
• 各時刻ステップで、前方デコーダーがソース側表現と逆方向ターゲット表現の両方に同時に注目できるようにすることで、非同期デコーディングを実現する。
• 前方および後向きデコーダーが共同最適化されるエンドツーエンドの学習パラダイムを維持し、後向きデコーダーは事前学習または共同学習によって意味のある逆方向文脈を生成するようにする。
• 前方生成中に、エンコーダー出力および後向きデコーダー出力から文脈ベクトルを計算するために、標準的なアテンションメカニズム（例：加法的アテンション）を用いる。
• 推論時に、ビームサーチを適用し、ソース表現および逆方向ターゲット表現の両方に注目することで、再ランク付けなしに文脈豊富なデコーディングを実現する。

実験結果

リサーチクエスチョン

• RQ1 右から左へのデコーダーから得られる逆方向ターゲット側文脈を、左から右へのNMTモデルに統合することで、翻訳品質が向上するか？
• RQ2 ソース側および逆方向ターゲット側の隠れ状態に同時に注目することで、より正確で耐性のある翻訳予測が得られるか？
• RQ3 前方および後向きデコーダーを同期的に使用するエンドツーエンドフレームワークは、独立したデコーダーや再ランク付けに依存するモデルを上回る性能を発揮するか？
• RQ4 提案された双方向デコード機構は、標準的な左から右へのデコードと比較して、誤り伝搬に与える影響はどのように変化するか？
• RQ5 後向きデコーダーが学習した逆方向文脈の表現が、より良い翻訳性能にどの程度寄与するか？

主な発見

• 提案された非同期双方向デコード（ABD）モデルは、NIST中国語-英語翻訳ベンチマークで標準NMTより+3.14 BLEUポイントの向上を達成した。
• WMT英語-ドイツ語翻訳タスクにおいて、モデルはベースラインNMTシステムと比較して翻訳品質を1.38 BLEUポイント向上させた。
• 後向きデコーダーは、前方デコーディングを補完する意味のある逆方向ターゲット表現を効果的に学習しており、注意のアライメントの改善および翻訳のなめらかさの向上によって裏付けられた。
• 前方文脈の誤り伝搬に対する感受性が低下しており、後向き文脈がデコーディング中に是正信号を提供していることが示された。
• 二重アテンション機構を通じて、ソース側および逆方向ターゲット側文脈を統合することで、より正確で文脈的に整合性のある翻訳が得られた。
• この手法は異なる言語対にわたり有効であり、RNNベースのNMTアーキテクチャに一般に適用可能であることが示され、評価されたタスクを超えた広範な有用性を示唆している。