[論文レビュー] Simultaneous Neural Machine Translation using Connectionist Temporal Classification

Katsuki Chousa, Katsuhito Sudoh+1 more|arXiv (Cornell University)|Nov 27, 2019

Natural Language Processing Techniques参考文献 13被引用数 5

ひとこと要約

本稿では、翻訳遅延を動的に制御できる学習可能な <wait> トークンを用いた、新しい同時型ニューラル機械翻訳手法を提案する。これにより、より良い文脈を得るための適応的待ちが可能になる。Connectionist Temporal Classification (CTC) と遅延ペナルティ、標準的な交差エントロピー損失を組み合わせることで、翻訳品質とタイミングの両方を最適化し、完全な文翻訳よりも遅延を低く抑えつつ、英語→日本語タスクで競争力ある精度を維持する。

ABSTRACT

Simultaneous machine translation is a variant of machine translation that starts the translation process before the end of an input. This task faces a trade-off between translation accuracy and latency. We have to determine when we start the translation for observed inputs so far, to achieve good practical performance. In this work, we propose a neural machine translation method to determine this timing in an adaptive manner. The proposed method introduces a special token '', which is generated when the translation model chooses to read the next input token instead of generating an output token. It also introduces an objective function to handle the ambiguity in wait timings that can be optimized using an algorithm called Connectionist Temporal Classification (CTC). The use of CTC enables the optimization to consider all possible output sequences including '' that are equivalent to the reference translations and to choose the best one adaptively. We apply the proposed method into simultaneous translation from English to Japanese and investigate its performance and remaining problems.

研究の動機と目的

• 英語と日本語のような構文的に遠く離れた言語対における同時型ニューラル機械翻訳における遅延-精度のトレードオフを解消すること。
• 入力の文脈に応じて動的に待機する能力を提供するため、学習可能な <wait> トークンを導入し、モデルが出力を生成する前にさらに入力を読むべきであると示唆する。
• アライメントの不確実性を解消するため、ゴールスタンダードのアライメントを必要としない状態で、<wait> トークンのタイミング位置の曖昧さを処理できるように、CTC を用いてモデルを訓練すること。
• 固定遅延（Wait-k と同様）ではなく、入力の複雑さに基づいて最適な待機ポイントを学習することで、低遅延環境における翻訳品質を向上させること。
• 小規模および中規模の並列コーパスを用いて評価し、入力長や構造的複雑さの変化に適応できるかを検証すること。

提案手法

• 翻訳の遅延を示すために、ターゲット系列に特別な <wait> トークンを導入し、モデルが次の入力トークンを読む前に翻訳を遅らせる意思決定を表現する。
• CTC を用いて訓練を行い、参照翻訳に等価となる <wait> トークンのすべての可能な挿入を考慮することで、アライメントの曖昧さを訓練段階で処理する。
• CTC 損失と遅延ペナルティ、標準的な交差エントロピー損失を組み合わせ、翻訳の正確性、遅延制御、適切な <wait> 時刻の最適化を同時に達成する。
• エンコーダが可変数のソーストークンを処理した後にのみデコーダが出力トークンを生成するインクリメンタルデコード設定を採用し、<wait> 決定によって決定される。
• 出力生成と待機行動の両方を含む、エンドツーエンドで微分可能な訓練目的を採用する。
• ハイパーパrameter α を用いて遅延と翻訳品質のトレードオフを制御し、α が大きいほど早期翻訳を、α が小さいほどより多くの待機を許容する。

実験結果

リサーチクエスチョン

• RQ1 固定遅延スケジュールに依存せずに、神経ネットワークモデルが翻訳中にいつ入力を待つべきかを学習できるか？
• RQ2 <wait> 時刻の曖昧さがある状況で、CTC の使用が訓練の安定性と性能にどのように寄与するか？
• RQ3 構文的に遠く離れた言語対（例：英語と日本語）において、本手法が Wait-k のような固定遅延ベースラインよりも優れた遅延-精度トレードオフを達成できるか？
• RQ4 遅延する構文的依存関係を持つ複雑で長い文において、モデルの性能はいかがなものか？
• RQ5 特に連続して <wait> トークンが生成されるような、モデルの失敗モードは何か？

主な発見

• small_parallel_enja データセットでは、提案手法は 4.32（±3.14）トークンの遅延を達成し、BLEU 28.01、RIBES 81.78 を記録。完全な文翻訳と比較して遅延を 50% 以上低減しながら、妥当な品質を維持した。
• α = 0.01 の場合、BLEU 30.42、RIBES 82.60 を達成し、k=3 の Wait-k（BLEU 31.06）よりも RIBES と遅延の両面で優れた性能を示したが、BLEU は低かった。
• ASPEC データセットでは、複雑で長距離に及ぶ依存関係のため、提案手法の遅延（α=0.03 時に 23.03 トークン）が、Wait-k（k=5 時に 5.00 トークン）よりも顕著に高くなった。
• モデルは 'swimming' という複合語を、完全なサブワード 'swim' を観測した後にのみ正しく翻訳でき、Wait-k のような固定遅延モデルで見られる誤りを回避した。
• モデルは、特に α が小さい設定で連続して <wait> トークンを生成することがあり、現在の訓練目的では過剰な待機に対するペナルティが不十分であることを示唆している。
• 結果から、モデルは入力の複雑さに応じて遅延を適応的に調整する——簡単な入力では短い遅延、複雑な入力では長い待機——という動的で文脈に依存する挙動を示していることがわかった。