[論文レビュー] Can neural machine translation do simultaneous translation?

Kyunghyun Cho, Masha Esipova|arXiv (Cornell University)|Jun 7, 2016

Natural Language Processing Techniques参考文献 18被引用数 134

ひとこと要約

本論文は同時貪欲デコードを提案し、セグメンテーションと翻訳を同時に決定することで、注意機構ベースの神経機械翻訳を同時翻訳へ適応させ、言語ペア En-Cs、En-De、En-Ru における品質と遅れのトレードオフを制御可能にする。

ABSTRACT

We investigate the potential of attention-based neural machine translation in simultaneous translation. We introduce a novel decoding algorithm, called simultaneous greedy decoding, that allows an existing neural machine translation model to begin translating before a full source sentence is received. This approach is unique from previous works on simultaneous translation in that segmentation and translation are done jointly to maximize the translation quality and that translating each segment is strongly conditioned on all the previous segments. This paper presents a first step toward building a full simultaneous translation system based on neural machine translation.

研究の動機と目的

• Neural Machine Translation 内で同時翻訳の研究を動機づけ、品質と遅延のバランスを取る。
• ソース文全体を受け取りながら翻訳するデコードアルゴリズムを提案する。
• 訓練済み NMT モデルを用いて、過去のセグメントに条件付けた共通のセグメンテーションと翻訳を示す。
• 複数の言語ペアにおける待機基準が品質-遅延トレードオフに与える影響を評価する。

提案手法

• ソースをバッチで読み取り、信頼できると判断した場合にターゲットトークンを貪欲に出力し、必要に応じて追加のソース素材を待つ（デルタと s0 で制御）。
• エンコーダの文脈を動的なソース表現の集合として維持し、待機基準が有効と判断したときだけ新しいチャンクで更新する。
• Wait-If-Worse と Wait-If-Diff の2つの待機基準を用い、追加のソース文脈を待つべきか翻訳を即座に行うべきかを決定する。
• 通常の注意機構を備えたエンコーダ-デコーダの翻訳モデル（全文に対する訓練）を用い、同時翻訳のための再訓練は行わずデコードアルゴリズムを適用する。
• 遅延を正規化指標 tau(X,Y) で定量化し、En-Cs、En-De、En-Ru の言語ペア間で BLEU と tau のトレードオフを分析する。
• 同時デコード性能を従来の連続的な貪欲デコードおよびビーム探索のベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 注意機構ベースの NMT モデルは、連続翻訳のために訓練されたものを新しいデコード戦略で同時翻訳に用いることができるか？
• RQ2 Wait-If-Worse と Wait-If-Diff の異なる待機基準は、同時翻訳における品質と遅延のトレードオフにどう影響するか？
• RQ3 デコードパラメータ delta と s0 が、複数の言語方向における翻訳品質と遅延にどのように影響するか？
• RQ4 同時貪欲デコードのさまざまな言語ペアで、語句の繰り返しや premature commitment などの定性的挙動は発生するか？

主な発見

• 同時貪欲デコードは、翻訳品質と遅延の間の制御可能なトレードオフを伴う同時翻訳を実現する。
• Wait-If-Worse は一般に品質が高く遅延も大きくなる一方、Wait-If-Diff はより広範な遅延-品質のトレードオフを提供し、繰り返しが多くなる可能性がある。
• 翻訳品質と遅延のパターンは言語ペア（En-Cs, En-De, En-Ru）と方向によって異なり、形態情報の豊かさと文法に影響を受ける。
• 情報量の増加（大きな delta や s0）が、モデルの待機タイミングと翻訳タイミングを変え、BLEU と tau に影響を及ぼす、品質-遅延関係が測定可能である。
• ロシア語-英語の翻訳では、特定の基準下で早すぎる意思決定と語句の繰り返しが見られ、現在の待機戦略の限界を示す。
• BLEU スコアは参照として、著者のモデルを用いた場合のベースラインと比較して競争力がある：En->Cs 15.2 (Ours) / 13.84 (Star)、En->De 19.5 / 21.75、En->Ru 17.77 / 19.54; 逆方向: Cs->En 20.47 / 20.32、De->En 23.96 / 24、Ru->En 22.27 / 22.44。
• 本アプローチは、整列やタイミングの再訓練を行わずとも、エンドツーエンドの NMT システムを同時翻訳へ再利用できることを示している。