[論文レビュー] Coverage Embedding Models for Neural Machine Translation

Haitao Mi, Baskaran Sankaran+2 more|arXiv (Cornell University)|May 10, 2016

Natural Language Processing Techniques参考文献 15被引用数 35

ひとこと要約

本稿では、注意機構に基づくニューラル機械翻訳（NMT）の性能を向上させるために、学習可能な動的埋め込みベクトルを用いて源語の翻訳状態を追跡するカバレッジ埋め込みモデルを提案する。これらの埋め込みベクトルは、注意重みに基づいてGRUまたは減算に基づいて更新され、翻訳の繰り返しと省略を低減する。中国語から英語への翻訳において、強力な大規模語彙NMTベースラインに対して最大2.6ポイントのBLEUスコア向上を達成した。

ABSTRACT

In this paper, we enhance the attention-based neural machine translation (NMT) by adding explicit coverage embedding models to alleviate issues of repeating and dropping translations in NMT. For each source word, our model starts with a full coverage embedding vector to track the coverage status, and then keeps updating it with neural networks as the translation goes. Experiments on the large-scale Chinese-to-English task show that our enhanced model improves the translation quality significantly on various test sets over the strong large vocabulary NMT system.

研究の動機と目的

• 注意機構に基づくニューラル機械翻訳（NMT）における翻訳の繰り返しと省略の問題に取り組むこと。これは、カバレッジ追跡の欠如に起因する。
• 従来の統計的機械翻訳（SMT）のカバレッジベクトルの限界を克服し、NMTにおけるソフト注意機構に適応した手法を提案すること。
• 各源語に対して一意で学習可能なベクトルを維持する、新たなカバレッジ埋め込み機構を導入すること。
• 注意機構にカバレッジ埋め込みを統合することで、大規模な中国語から英語への翻訳タスクにおける翻訳品質を向上させること。
• カバレッジ埋め込みが、NMTシステムにおけるフレーズの繰り返しを低減し、アライメントの正確性を向上させることを実証すること。

提案手法

• 翻訳開始時に、SMTの二値カバレッジベクトルとは異なり、各源語に完全で初期化されたカバレッジ埋め込みベクトルを割り当てる。
• 各翻訳ステップで、現在の注意重みに基づいて、GRU（ゲート付き再帰ユニット）または直接的なベクトル減算を用いて各源語のカバレッジ埋め込みを更新する。
• 各源語のカバレッジ埋め込みを、注意スコア計算関数への追加入力として統合し、注意エネルギー計算を変更する。
• カバレッジ状態の変化をモデル化するため、GRUベースの更新機構を用い、モデルが注意パターンに基づいてカバレッジをどのように調整すべきかを学習可能にする。
• 高い注意が源語に向けられるほど、そのカバレッジ埋め込みが減少するように、減算ベースの更新ルールを適用する。これは翻訳完了を模倣する。
• GRUおよび減算部の両方の成分に別々のハイパーパrameterを有する補助的目的関数を+Obj.バージョンに導入し、カバレッジ学習をさらに正則化する。

実験結果

リサーチクエスチョン

• RQ1 学習可能な連続的カバレッジ埋め込みは、注意機構に基づくNMTにおける翻訳の繰り返しと省略を効果的に低減できるか？
• RQ2 GRUベースと減算ベースのカバレッジ更新の選択が、翻訳品質およびアライメント正確性に与える影響は何か？
• RQ3 標準NMTシステムと比較して、カバレッジ埋め込みはアライメントF1スコアをどの程度向上させるか？
• RQ4 カバレッジ埋め込みの統合は、大規模な中国語から英語への翻訳タスクで統計的に有意なBLEUスコア向上をもたらすか？
• RQ5 訓練データサイズが増加する中で、カバレッジ埋め込みはNMTにおける繰り返し問題を緩和できるか？

主な発見

• U GRUバージョンは、500万件の訓練データセットにおいて、大規模語彙NMT（LVNMT）ベースラインに対して平均（Ter-BLEU）/2スコアを1.3ポイント向上させた。
• U GRU + U Subの組み合わせは、平均（Ter-BLEU）/2スコア13.14を達成し、LVNMTベースラインから2.6ポイントの向上を示した。
• 1100万件の訓練データセットでは、U GRUモデルがLVNMTベースラインに対して（Ter-BLEU）/2スコアでほぼ1ポイントの向上を達成し、より強力なベースラインでも有効であることを示した。
• U GRU + U Subモデルは、手動アライメント済みテストセットでアライメントF1スコアを2.2ポイント向上させ、LVNMTから46.47に到達した。
• MT06テストセットでは、LVNMTにおける繰り返しフレーズ（4語以上）の数が209個から、U GRU + U Subでは50個に減少し、繰り返しの顕著な低減が確認された。
• +Obj.バージョンは、MT06で繰り返しフレーズを47件にさらに削減し、追加の正則化がカバレッジ学習を強化していることを示した。