[論文レビュー] Simultaneous Translation Policies: From Fixed to Adaptive

Baigong Zheng, Kaibo Liu+4 more|arXiv (Cornell University)|Apr 27, 2020

Natural Language Processing Techniques参考文献 18被引用数 6

ひとこと要約

本稿では、複数の固定wait-$k$ポリシーを組み合わせることで、翻訳品質を向上させるモデルアンサンブルを用いた、単純なヒューリスティック手法を提案する。同じ遅延条件下で固定ポリシーに対して最大4 BLEUポイントの向上を達成し、遅延を著しく低く抑えながらグリーディな全文翻訳を上回り、ビームサーチ性能に近い結果を得た。

ABSTRACT

Adaptive policies are better than fixed policies for simultaneous translation, since they can flexibly balance the tradeoff between translation quality and latency based on the current context information. But previous methods on obtaining adaptive policies either rely on complicated training process, or underperform simple fixed policies. We design an algorithm to achieve adaptive policies via a simple heuristic composition of a set of fixed policies. Experiments on Chinese -> English and German -> English show that our adaptive policies can outperform fixed ones by up to 4 BLEU points for the same latency, and more surprisingly, it even surpasses the BLEU score of full-sentence translation in the greedy mode (and very close to beam mode), but with much lower latency.

研究の動機と目的

• 固定wait-$k$戦略よりも柔軟性に富んだポリシーを用いることで、同時翻訳における翻訳品質と遅延のバランスを改善すること。
• 複雑で時間がかかる学習手順に依存せずに、翻訳中に適応的決定を行う手法を設計すること。
• ヒューリスティックな組み合わせとモデルアーセンブルを用いることで、複数の固定ポリシーを統合し、低遅延環境下での翻訳品質を向上させること。
• 遅延を大幅に低く抑えながら、全文ビームサーチと同等の性能を達成し、リアルタイム実行可能性を維持すること。

提案手法

• 本手法は、事前に学習済みのwait-$k$ポリシー（k=1から10）の集合から、モデルの信頼度しきい値に基づいて動的に選択することで、適応的ポリシーを構築する。
• 各デコードステップで、有効なwait-$k$ポリシーの中から信頼度（最大確率）が最も高いものを選択し、遅延を動的に調整する。
• しきい値に基づくヒューリスティックでポリシー切り替えを制御する：$\rho_1$ から $\rho_{10}$ までのしきい値を設定し、$\rho_1$ が最も高く、$\rho_{10}$ が最も低い。
• モデルアーセンブルは、各ポリシーごとに上位3つのモデルの予測を組み合わせることで実装され、耐性と翻訳品質の向上が図られる。
• 適応的ポリシーは、動的に変化するソース文脈長に基づいてターゲットトークンを予測するプレフィックス・プレフィックス NMTフレームワークを介して実装される。
• 本手法はポリシーのエンドツーエンド学習を避ける。代わりに、異なるwait-$k$設定下での事前学習済みモデルを活用し、高速な推論を実現する。

実験結果

リサーチクエスチョン

• RQ1 固定wait-$k$ポリシーの単純なヒューリスティックな組み合わせが、同時翻訳において個々の固定ポリシーを上回る性能を達成できるか？
• RQ2 提案された適応的ポリシーは、大幅に遅延を低く抑えながら、グリーディな全文翻訳のBLEUスコアを上回るか？
• RQ3 モデルアーセンブルは、遅延を増加させずに適応的ポリシー枠組み下での翻訳品質を向上させられるか？
• RQ4 大幅に遅延を低く抑えながらも、適応的ポリシーの性能が、全文ビームサーチ（ビームサイズ=10）と同等に近いか？

主な発見

• 提案された適応的ポリシーは、中国語→英語およびドイツ語→英語翻訳タスクの両方において、同じ遅延条件下で固定wait-$k$ポリシーに対して最大4 BLEUポイントの向上を達成した。
• アーセンブルtop-3手法は、中国語→英語で0.69 BLEUポイント、ドイツ語→英語で0.41 BLEUポイント、グリーディな全文翻訳を上回ったが、遅延は29.55から8.21、28.58から8.77にそれぞれ短縮された。
• 本手法は、全文ビームサーチ（ビームサイズ=10）と同等のBLEUスコアを両言語対で達成したが、グリーディデコードを用いながらも大幅に遅延を低く抑えている。
• アーセンブルtop-3手法の1トークンあたりの平均推論時間は0.2085秒であり、中国語の通常の発話速度（1トークンあたり0.6秒）を上回る速度で、リアルタイム実行可能性を示している。
• 単純なヒューリスティックな固定ポリシーの組み合わせが、モデルアーセンブルと組み合わせることで、より複雑な学習ベースの適応的手法を上回ることを示した。