[論文レビュー] Hidden Markov Transformer for Simultaneous Machine Translation

Shaolei Zhang, Yan Feng|arXiv (Cornell University)|Mar 1, 2023

Natural Language Processing Techniques被引用数 11

ひとこと要約

本論文は SiMT のための Hidden Markov Transformer (HMT) を提案し、複数の潜在開始時点を hidden states としてモデル化し、観測されたターゲット系列に対する周辺尤度を用いて最適化し、SiMT ベンチマークで最先端の結果を達成する。

ABSTRACT

Simultaneous machine translation (SiMT) outputs the target sequence while receiving the source sequence, and hence learning when to start translating each target token is the core challenge for SiMT task. However, it is non-trivial to learn the optimal moment among many possible moments of starting translating, as the moments of starting translating always hide inside the model and can only be supervised with the observed target sequence. In this paper, we propose a Hidden Markov Transformer (HMT), which treats the moments of starting translating as hidden events and the target sequence as the corresponding observed events, thereby organizing them as a hidden Markov model. HMT explicitly models multiple moments of starting translating as the candidate hidden events, and then selects one to generate the target token. During training, by maximizing the marginal likelihood of the target sequence over multiple moments of starting translating, HMT learns to start translating at the moments that target tokens can be generated more accurately. Experiments on multiple SiMT benchmarks show that HMT outperforms strong baselines and achieves state-of-the-art performance.

研究の動機と目的

• 各ターゲットトークンをいつ翻訳開始するかをモデルが決定しなければならない、同時翻訳を動機づける。
• 翻訳をいつ開始するかとどのように翻訳するかの両方を学習する統一的な枠組みを提案する。
• 複数の潜在的な翻訳開始時点を hidden Markov 構造の中の潜在的イベントとして明示的にモデル化する。
• 開始時点の潜在変数に対する周辺尤度で訓練し、翻訳品質とタイミング決定を一致させる。
• 標準的な SiMT ベンチマークで HMT を評価し、レイテンシと品質のトレードオフを示す。

提案手法

• 翻訳過程を各ターゲットトークンに対して複数の開始モーメント状態を有する hidden Markov model として表す。
• ソース列を hidden states に写像するエンコーダと、選択された状態からターゲットトークンを生成する hidden Markov デコーダを使用する。
• 事前に定義された境界内で翻訳モーメントを持つ各ターゲットトークンに対して K 個の候補開始状態を生成する状態生成ステップを導入する。
• 各状態からの翻訳確率を、状態間の自己注意とソース状態からのクロス注意を持つ Transformer デコーダ層を介して計算する。
• 各状態を選択する信頼度を予測し、推論時に選択を行ってターゲットトークンを書き込む時期を決定する。
• 潜在的な状態選択のすべての組み合わせに対する観測ターゲット系列の周辺尤度を最大化する訓練を行い、隠れた系列を動的計画法で周辺化する。
• レイテンシと状態損失を取り入れて翻訳品質と時間精度をバランスさせ、状態間での堅牢なトークン生成を促進する。

実験結果

リサーチクエスチョン

• RQ1 翻訳開始の複数の可能な時点を hidden states としてモデル化することは、固定または単一時点の方針よりも SiMT の性能を改善するか？
• RQ2 訓練時に隠れた開始時点を周辺化することは、単一の高確率時点を最適化するよりも良いレイテンシと品質のトレードオフを生むのか？
• RQ3 レイテンシと状態正則化は HMT における翻訳品質と意思決定の堅牢性にどのように影響するか？
• RQ4 複数の開始モーメント表現間での状態間自己注意の使用が翻訳精度に与える影響はどのようか？
• RQ5 レイテンシ領域全般で、HMT は確立された SiMT ベースラインと比較してどの程度性能があるか？

主な発見

• HMT は標準的な SiMT ベンチマークの各レイテンシ設定で強力なベースラインを上回る。
• 複数の開始モーメントを用いて hidden Markov 構造を介して決定を伝える学習は、翻訳品質とレイテンシのバランスを改善する。
• すべての潜在的開始モーメントの選択を周辺化する方が、最も可能性の高い選択だけを最適化するよりも性能が良い。
• レイテンシ損失と状態損失は翻訳品質の向上とより堅牢な状態選択に寄与する。
• 訓練時および推論時の複数状態間の自己注意は、単一状態やモード制限付き注意と比較して顕著な BLEU 増を生む。
• モデルは予測信頼度が高いほどトークン正確度が高くなることを示し、効果的な開始決定を導く。