[論文レビュー] Modeling Coverage for Neural Machine Translation

Zhaopeng Tu, Zhengdong Lu+3 more|arXiv (Cornell University)|Jan 19, 2016

Natural Language Processing Techniques参考文献 27被引用数 159

ひとこと要約

NMT の注意履歴を追跡するカバレッジ機構を導入; 言語学的および NN ベースのカバレッジを用いて過不足翻訳と配列を減らし、中国語-英語でBLEU向上を実現。

ABSTRACT

Attention mechanism has enhanced state-of-the-art Neural Machine Translation (NMT) by jointly learning to align and translate. It tends to ignore past alignment information, however, which often leads to over-translation and under-translation. To address this problem, we propose coverage-based NMT in this paper. We maintain a coverage vector to keep track of the attention history. The coverage vector is fed to the attention model to help adjust future attention, which lets NMT system to consider more about untranslated source words. Experiments show that the proposed approach significantly improves both translation quality and alignment quality over standard attention-based NMT.

研究の動機と目的

• 自己注意型 NMT における明示的なカバレッジの欠如が原因で生じる過剰・不足翻訳を動機付け解決する。
• 各アテンション後に更新されるカバレッジベクトルを維持するカバレッジ機構を提案する。
• NMT の注意機構へ組み込むために、言語学的およびニューラルネットワークベースのカバレッジモデルを探る。

提案手法

• 各ソース語の過去のアテンションを要約するソース語ごとのカバレッジベクトル C_{i-1} を維持する。
• 将来のアテンションを調整するためにカバレッジベクトルをアテンションモデルへ組み込む、 e_{i,j} = a(t_{i-1}, h_j, C_{i-1,j})。
• スカラーまたは繁殖性に基づく正規化 Phi_j を用いてカバレッジ C_{i,j} = C_{i-1,j} + (1/Phi_j) * alpha_{i,j} を計算し、事前計算された繁殖性 Phi_j を探索する。
• GRU様のゲーティングを用いて C_{i,j} を f(C_{i-1,j}, alpha_{i,j}, h_j, t_{i-1}) で更新するニューラルネットワークベースのカバレッジを提案する。
• 端から端まで訓練して P(y|x; theta, eta) を最大化し、ベースラインの注意ベースNMT（GroundHog）と Moses を比較する。
• BLEU による翻訳品質と SAER/AER によるアラインメント品質の両方を評価し、長文に焦点を当てる。

実験結果

リサーチクエスチョン

• RQ1 注意機構を組み込んだ NMT が標準の注意付き NMT および SMT ベースラインと比較して翻訳品質を向上させるか。
• RQ2 言語学的カバレッジとニューラルネットワークベースのカバレッジのバリアントは翻訳品質と整合性の観点でどう性能を示すか?
• RQ3 カバレッジが長文や過不足翻訳現象に与える影響は?

主な発見

システム	#パラメータ	MT05	MT06	MT08	平均
Moses	–	31.37	30.85	23.01	28.41
GroundHog	84.3M	30.61	31.12	23.23	28.32
+ Linguistic coverage w/o fertility	+1K	31.26	32.16	24.84	29.42
+ Linguistic coverage w/ fertility	+3K	32.36	32.31	24.91	29.86
+ NN-based coverage w/o gating (d=1)	+4K	31.94	32.11	23.31	29.12
+ NN-based coverage w/ gating (d=1)	+10K	31.94	32.16	24.67	29.59
+ NN-based coverage w/ gating (d=10)	+100K	32.73	32.47	25.23	30.14

• カバレッジベースの NMT は MT05, MT06, MT08 のデータセットで標準の注意ベースNMTより BLEU スコアを著しく向上させる。
• 繁殖性を用いた言語学的カバレッジは顕著な BLEU 増加をもたらし、整合性を改善し、繁殖性がカバー比の推定を助ける。
• ゲーティングを用いるNNベースのカバレッジも BLEU を改善し、より高次元のカバレッジ（d=10）で追加の利得を提供。
• カバレッジは主観的評価で過不足翻訳を減らし、翻訳の適切さと流暢さを改善する。
• カバレッジは長文での性能低下を緩和し、未翻訳語へ注意を向け、翻訳を適切に長くするのを助ける。
• 最も複雑な NN ベースのカバレッジは比較的少ないパラメータで競争力のある改善を生み出す。