[論文レビュー] Monotonic Simultaneous Translation with Chunk-wise Reordering and Refinement

HyoJung Han, Seokchan Ahn+4 more|arXiv (Cornell University)|Oct 18, 2021

Natural Language Processing Techniques参考文献 44被引用数 4

ひとこと要約

本稿では、標準的な全文翻訳コーパスを、同時翻訳（SimulMT）に適した一貫性のある、チャンク単位で再順序付けされ、洗練された並列データに再構築する手法を提案する。語の対応付けと非自己回帰的翻訳を活用することで、翻訳側の系列が元のソース語順に忠実に近づくように生成され、待機-$k$ モデルがより一貫性があり、遅延が低い翻訳を生成できるようになる。複数の言語対について BLEU スコアが向上し、特に語順の違いが顕著な英語-韓国語のような困難な言語対で顕著な効果を示した。

ABSTRACT

Recent work in simultaneous machine translation is often trained with conventional full sentence translation corpora, leading to either excessive latency or necessity to anticipate as-yet-unarrived words, when dealing with a language pair whose word orders significantly differ. This is unlike human simultaneous interpreters who produce largely monotonic translations at the expense of the grammaticality of a sentence being translated. In this paper, we thus propose an algorithm to reorder and refine the target side of a full sentence translation corpus, so that the words/phrases between the source and target sentences are aligned largely monotonically, using word alignment and non-autoregressive neural machine translation. We then train a widely used wait-k simultaneous translation model on this reordered-and-refined corpus. The proposed approach improves BLEU scores and resulting translations exhibit enhanced monotonicity with source sentences.

研究の動機と目的

• 標準的な全文コーパスで学習された SimulMT モデルでは、予測が過剰になりがちで遅延が悪化するという、非一貫性翻訳の課題に対処すること。
• 標準的な並列コーパスを一貫性のある対応付け、チャンク単位での再順序付け、そして流暢な洗練を施した学習データに変換することで、SimulMT の翻訳品質と一貫性を向上させること。
• 学習データにおける一貫性の向上が、待機-$k$ SimulMT モデルの性能と一貫性に良い影響を与えるかどうかを検証すること。
• 特に語順の違いが顕著な言語対（例：英語-韓国語、英語-日本語）を含め、多様な言語対において本手法の有効性を評価すること。

提案手法

• まず、固定長または対応付けに配慮した戦略を用いて、ソースおよびターゲット文をチャンクに分割し、意味的整合性を保つ。
• 語の対応付け情報をもとに、ターゲットチャンクをソースチャンクに一貫して対応させるように再順序付けを行い、ターゲット語がソースの時間的順序に従うようにする。
• 非自己回帰的ニューラル機械翻訳（NAT）モデルを微調整し、再順序付けされたターゲット系列の文法的正しさと流暢さを向上させつつ、一貫性のある対応付けを維持する。
• 洗練され、一貫性のある並列コーパスを用いて、標準的な待機-$k$ SimulMT モデルを事前学習または微調整し、制限付き遅延で段階的に翻訳を生成する。
• BLEU と Kendall の $\tau$ を翻訳品質と一貫性の指標として用い、EnKo, EnJa, EnZh, DeEn などの複数の言語対でアプローチを評価する。
• 本手法は、標準的なオフラインコーパスで学習されたベースライン待機-$k$ モデルと比較され、チャンク分割戦略および洗練手法に関するアブレーションスタディが実施された。

実験結果

リサーチクエスチョン

• RQ1 標準的な全文並列コーパスを再順序付けおよび洗練することで、SimulMT モデルの一貫性が向上するか？
• RQ2 ソース言語とターゲット言語の語順の違いの程度が、本手法の有効性にどのように影響するか？
• RQ3 再構築された一貫性のあるコーパスで学習した SimulMT モデルは、標準的な学習と比較して、BLEU スコアと一貫性がどの程度向上するか？
• RQ4 平均文長や語順の一致度が異なる言語対において、性能向上の程度はどのように変化するか？
• RQ5 チャンク分割戦略（固定長対比 対応付けに配慮した）の選択が、最終的な翻訳品質および一貫性にどのように影響するか？

主な発見

• EnKo 言語対では、オフラインベースライン比で BLEU スコアが約 8% 向上し、EnZh (+3%) および DeEn (+2%) でも一貫した向上を確認した。
• Kendall の $\tau$ で測定した一貫性は、語順の乖離が顕著な言語対（特に EnKo）において、再構築された学習データで顕著に向上した。
• 再構築されたコーパスで学習した待機-$k$ モデルは、オンラインリファレンスの BLEU スコアがオフラインリファレンスを上回った。これは、人間の翻訳に類似した一貫性のある解釈に近づいたことを示している。
• 一貫性の向上は、学習データにおける一貫性の向上に比例しており、学習データの一貫性がモデル挙動に直接影響していることを確認した。
• EnJa では限定的な向上が得られたが、これは平均文長が短く、発行レートが高いことが要因で、チャンク化と再順序付けの恩恵が薄れたと考えられる。
• Fixed + NAT および AlignAw + NAT の両方の洗練戦略が文の流暢さを向上させたが、特に $k$ 値が高い場合に AlignAw + NAT がより優れた一貫性を達成した。