[论文解读] Monotonic Simultaneous Translation with Chunk-wise Reordering and Refinement

HyoJung Han, Seokchan Ahn+4 more|arXiv (Cornell University)|Oct 18, 2021

Natural Language Processing Techniques参考文献 44被引用 4

一句话总结

本文提出一种方法，将标准的完整句子翻译语料重新组织为单调的、分块排序并优化的并行数据，用于同时性机器翻译（SimulMT）。通过利用词对齐和非自回归翻译，该方法生成更贴近源语序的目标序列，使等待-$k$模型能够生成更单调、延迟更低的翻译，且在多个语系对中BLEU得分提升，尤其在英语-韩语等具有挑战性的语系对中表现显著。

ABSTRACT

Recent work in simultaneous machine translation is often trained with conventional full sentence translation corpora, leading to either excessive latency or necessity to anticipate as-yet-unarrived words, when dealing with a language pair whose word orders significantly differ. This is unlike human simultaneous interpreters who produce largely monotonic translations at the expense of the grammaticality of a sentence being translated. In this paper, we thus propose an algorithm to reorder and refine the target side of a full sentence translation corpus, so that the words/phrases between the source and target sentences are aligned largely monotonically, using word alignment and non-autoregressive neural machine translation. We then train a widely used wait-k simultaneous translation model on this reordered-and-refined corpus. The proposed approach improves BLEU scores and resulting translations exhibit enhanced monotonicity with source sentences.

研究动机与目标

• 为解决在标准完整句子语料上训练的SimulMT模型存在的非单调翻译问题，此类问题常导致过度预测或延迟过高。
• 通过将标准并行语料转化为单调对齐、分块重排且语言流畅的训练数据，提升SimulMT的翻译质量与单调性。
• 探究在训练数据中增强单调性是否能带来等待-$k$ SimulMT模型中更好的单调性与性能表现。
• 评估该方法在多种语系对中的有效性，特别是那些词序差异显著的语言对，如英语-韩语和英语-日语。

提出的方法

• 首先使用固定长度或基于对齐感知的策略将源语句和目标语句分割为块，以保持语义连贯性。
• 然后基于词对齐信息，将目标块重新排序，使其与源块单调对齐，确保目标词按源语的时间顺序排列。
• 使用非自回归神经机器翻译（NAT）模型微调，以优化重排后的目标序列，提升流畅性与句法正确性，同时保持单调对齐。
• 将优化后、单调对齐的并行语料用于预训练或微调标准等待-$k$ SimulMT模型，使其以有界延迟增量生成翻译。
• 在多个语系对（包括EnKo、EnJa、EnZh和DeEn）上评估该方法，使用BLEU和Kendall’s $\tau$作为翻译质量与单调性的度量指标。
• 将该方法与在标准离线语料上训练的基线等待-$k$模型进行比较，并对分块策略与优化技术进行消融研究。

实验结果

研究问题

• RQ1 对标准完整句子并行语料进行重排与优化，能否提升SimulMT模型的单调性？
• RQ2 源语与目标语之间词序差异的程度如何影响该方法的有效性？
• RQ3 与标准训练相比，使用重构的单调语料训练SimulMT模型，在BLEU得分与单调性方面提升程度如何？
• RQ4 性能增益是否在不同平均句长与词序对齐程度的语言对中存在差异？
• RQ5 分块策略选择（固定长度 vs. 基于对齐感知）对最终翻译质量与单调性有何影响？

主要发现

• 在EnKo语系对中，该方法相比离线基线BLEU得分提升约8%，在EnZh（+3%）和DeEn（+2%）中也表现出一致增益。
• 单调性（以Kendall’s $\tau$衡量）在重构的训练数据中显著提升，尤其在词序差异较大的语系对（如EnKo）中更为明显。
• 在重构语料上训练的等待-$k$模型，在在线参考译文上的BLEU得分高于离线参考译文，表明其更接近人类的单调理解方式。
• 单调性的提升与训练数据中单调性增益成正比，证实训练数据的单调性直接影响模型行为。
• 在EnJa中改进有限，可能由于平均句长较短且输出速率较高，导致分块与重排的收益降低。
• Fixed + NAT与AlignAw + NAT两种优化策略均提升了流畅性，但AlignAw + NAT在较高$k$值下表现出更优的单调性。