[論文レビュー] STACL: Simultaneous Translation with Implicit Anticipation and Controllable Latency using Prefix-to-Prefix Framework

Mingbo Ma, Liang Huang+10 more|arXiv (Cornell University)|Oct 19, 2018

Natural Language Processing Techniques参考文献 21被引用数 5

ひとこと要約

本稿では、学習可能な「wait-𝑘」方策を用いて暗黙の予測を可能にする、同時ニューラル機械翻訳のためのprefix-to-prefixフレームワークSTACLを提案する。これにより、モデルは入力元のテキストから最大𝑘語分遅れて翻訳を生成できる。4つの言語対で、翻訳品質が高く、遅延を制御可能であり、別個のモデルや強化学習を必要とせず、先行手法を上回る性能を達成している。

ABSTRACT

Simultaneous translation, which translates sentences before they are finished, is useful in many scenarios but is notoriously difficult due to word-order differences. While the conventional seq-to-seq framework is only suitable for full-sentence translation, we propose a novel prefix-to-prefix framework for simultaneous translation that implicitly learns to anticipate in a single translation model. Within this framework, we present a very simple yet surprisingly effective wait-k policy trained to generate the target sentence concurrently with the source sentence, but always k words behind. Experiments show our strategy achieves low latency and reasonable quality (compared to full-sentence translation) on 4 directions: zhen and deen.

研究の動機と目的

• 翻訳言語と元言語の語順が著しく異なる状況において、低遅延かつ高品質な同時翻訳を実現する挑戦に応えること。
• 予測を1つの翻訳モデルに統合することで、別個のモデルや強化学習の必要性を排除すること。
• 推論時に任意の単語単位の遅延制御（例：3語遅延）を可能にし、予測可能で制御可能な性能を保証すること。
• 既存手法が遅延制御ができない、または文全体の事前学習と複雑な2段階アーキテクチャに依存するという限界を克服すること。
• RNNおよびTransformerアーキテクチャの両方をサポートする統合フレームワークを構築し、厳密な遅延制約下でも優れた翻訳品質を維持すること。

提案手法

• prefix-to-prefixフレームワークは、1つのシーケンス・ツー・シーケンスモデルを、元言語と対訳言語のprefixペア上で学習させることで、明示的な再配置の監視なしに、将来の元言語語を暗黙的に予測できるようにする。
• 「wait-𝑘」方策は、現在の対訳語に対して、現在の対訳語の𝑘語分先の元言語prefixをデコーダーの入力として条件づけることで実装され、固定で制御可能な𝑘語分の遅延を保証する。
• 学習段階では、モデルが元言語のprefixに基づいて対訳語を予測するように学習され、ドイツ語（SOV）から英語（SVO）への言語間再配置パターンを暗黙的に捉える。
• このフレームワークはRNNおよびTransformerアーキテクチャの両方と互換性があり、微調整や補助モデルを用いずに、エンド・ツー・エンドで学習可能である。
• 推論段階では、確定的デコード戦略を用い、常に𝑘語分の遅延を維持することで、入力長にかかわらず一貫した遅延を確保する。
• 強化学習を回避し、別個のベースモデルも不要であるため、学習が簡素化され、一般化性能が向上する。

実験結果

リサーチクエスチョン

• RQ1 1つのニューラル翻訳モデルが、明示的な再配置や予測ヘッドを用いずに、prefix-to-prefix学習によって将来の元言語語を暗黙的に予測できるか。
• RQ2 wait-𝑘方策が、多様な言語対においても高品質な翻訳を維持しながら、任意の単語単位の遅延制御を達成できるか。
• RQ3 2段階モデルと比較して、prefix-to-prefixフレームワークは遅延制御、翻訳品質、学習の複雑さにおいてどのように異なるか。
• RQ4 英語→中国語翻訳のように、文末の節を早期に再配置する必要がある場合、長距離再配置をどの程度適切に処理できるか。
• RQ5 厳密な遅延制約下でも、RNNやTransformerといった異なるアーキテクチャに一般化できるか。

主な発見

• wait-𝑘モデルは、zh→enおよびde→enの方向で、それぞれBLEUスコア1.6および0.3を達成し、文全体のベースラインと比較して優れている。
• 厳密な遅延制約下でも高い翻訳品質を維持しており、遅延制御と翻訳精度の両面で先行手法を上回っている。
• 人的評価では、en→deの翻訳で𝑘=3の際、予測語の割合がわずか1.4%にとどまり、過剰予測が少なく安定した性能が確認された。
• en→zh翻訳において、長距離再配置を効果的に処理しているが、構造の複雑さのため、一部のケースでは最終元言語語を待つ必要がある。
• prefix-to-prefixアプローチにより、強化学習や別個のベースモデルの必要性が排除され、学習が簡素化され、モデルの一貫性が向上した。
• この手法はRNNおよびTransformerアーキテクチャの両方で一般化可能であり、同時翻訳において高い頑健性とスケーラビリティを示した。