[論文レビュー] An Exploration of Neural Sequence-to-Sequence Architectures for Automatic Post-Editing

Marcin Junczys-Dowmunt, Roman Grundkiewicz|arXiv (Cornell University)|Jun 13, 2017

Natural Language Processing Techniques参考文献 14被引用数 15

ひとこと要約

本稿では、自動後処理（APE）のためのデュアルアテンションニューラルシーケンス・ツー・シーケンスモデルを提案する。このモデルは、元文（src）と機械翻訳（mt）の両方を統合的に符号化し、直接後処理済み（pe）出力を予測する。エンド・ツー・エンドのデュアルアテンションモデルが、利用可能な全データを統合することで、WMT-2016 APEベンチマークで最先端の結果を達成しており、以前のシステムを1.5 TERポイント以上上回っている。一方、ハードアテンションの変種は、少ない編集で競争力ある性能を示している。

ABSTRACT

In this work, we explore multiple neural architectures adapted for the task of automatic post-editing of machine translation output. We focus on neural end-to-end models that combine both inputs $mt$ (raw MT output) and $src$ (source language input) in a single neural architecture, modeling $\{mt, src\} ightarrow pe$ directly. Apart from that, we investigate the influence of hard-attention models which seem to be well-suited for monolingual tasks, as well as combinations of both ideas. We report results on data sets provided during the WMT-2016 shared task on automatic post-editing and can demonstrate that dual-attention models that incorporate all available data in the APE scenario in a single model improve on the best shared task system and on all other published results after the shared task. Dual-attention models that are combined with hard attention remain competitive despite applying fewer changes to the input.

研究の動機と目的

• 自動後処理のための、元文（src）と機械翻訳（mt）の両方を統合的にモデル化するエンド・ツー・エンドのニューラルシーケンス・ツー・シーケンスアーキテクチャの検討。
• 単語言語のAPEタスクにおけるハードアテンション機構の有効性の評価。
• デュアル・ソフトアテンション、ハードアテンション、ハイブリッドアテンション機構の性能向上に与える影響の比較。
• エンド・ツー・エンドのモデルに {src, mt, pe} トリプレットを統合することで、以前のシステムよりも優れた結果が得られることの実証。

提案手法

• エンド・ツー・エンドの1つのモデル内で、srcとmtの両方の入力を統合的に符号化し、pe出力を予測するデュアルアテンションエンコーダ・デコーダアーキテクチャを提案する。
• 条件付きGRUとソフトアテンションを用いて標準的なアテンションモデリングを実装し、デコーダーが両方の入力シーケンスの関連部分に注目できるようにする。
• 入力シーケンスに対して単調的で微分不能なアテンションを課すハードアテンション機構を導入し、編集数を削減する。
• ハードアテンションとソフトアテンション、およびデュアル・ソフトアテンション機構を組み合わせ、ハイブリッドアテンション戦略を検討する。
• 実装と学習には、Marianニューラル機械翻訳ツールキットを用いる。
• 最小誤り率訓練（MERT）を適用し、モデル部品のチューニングとTER指標の最適化を図る。

実験結果

リサーチクエスチョン

• RQ1 srcとmtの両方の入力を統合的に符号化するデュアルアテンションモデルは、単一入力モデルに比べてAPEで優れた性能を発揮するか？
• RQ2 編集効率とAPEにおける性能の観点から、ハードアテンション機構とソフトアテンション機構はどのように比較されるか？
• RQ3 ハードアテンションとソフトアテンションを組み合わせたハイブリッドアーキテクチャは、元のMT出力への忠実度を保ちながらAPE性能を向上させるか？
• RQ4 {src, mt, pe} トリプレットを全量用いて学習したエンド・ツー・エンドモデルは、WMT-2016 APEベンチマークで最先端の結果を達成できるか？

主な発見

• srcとmtの両方の入力を統合的に符号化するデュアルアテンションモデルは、WMT-2016共有タスクで最高のシステムよりもTERスコアを1.52ポイント低く抑えている。
• デュアルアテンションモデルのアンサンブルは、同じテストセットで以前に発表された最高のシステムの組み合わせよりもTERスコアを0.7ポイント改善している。
• ハードアテンションモデルは、著しく少ない編集数で競争力ある結果を達成しており、元のMT出力への忠実度が高くなっていることが示された。
• ハードアテンション統合付きのデュアル・ソフトアテンションモデル（M-CGRU-HARD）は、単語言語モデルが失敗する『Satz』のような単語の欠落を回復し、『aus』のような文法的に正しい助詞を追加している。
• 可視化の結果、デュアルアテンションモデルはsrcを用いて欠落した翻訳を効果的に回復している一方で、mtへのアテンションは単調的であることが分かった。
• アンサンブルは劣化した文の数を減らしているが、改善された文の数を顕著に増加させないため、性能向上は主に一貫性に起因していることが示唆された。