[论文解读] Decomposed Prompting for Machine Translation Between Related Languages using Large Language Models

Ratish Puduppully, Kunchukuttan, Anoop+3 more|arXiv (Cornell University)|May 22, 2023

Natural Language Processing Techniques被引用 4

一句话总结

该论文提出DecoMT，一种用于相关语言间低资源机器翻译的分解提示方法，通过将句子拆分为词块，独立且上下文相关地翻译这些词块。其在多个语言对上平均提升8 chrF++，优于BLOOM和mT5等强基线模型。

ABSTRACT

This study investigates machine translation between related languages i.e., languages within the same family that share linguistic characteristics such as word order and lexical similarity. Machine translation through few-shot prompting leverages a small set of translation pair examples to generate translations for test sentences. This procedure requires the model to learn how to generate translations while simultaneously ensuring that token ordering is maintained to produce a fluent and accurate translation. We propose that for related languages, the task of machine translation can be simplified by leveraging the monotonic alignment characteristic of such languages. We introduce DecoMT, a novel approach of few-shot prompting that decomposes the translation process into a sequence of word chunk translations. Through automatic and human evaluation conducted on multiple related language pairs across various language families, we demonstrate that our proposed approach of decomposed prompting surpasses multiple established few-shot baseline approaches. For example, DecoMT outperforms the strong few-shot prompting BLOOM model with an average improvement of 8 chrF++ scores across the examined languages.

研究动机与目标

• 解决密切相关的语言之间低资源机器翻译的挑战，此类任务常因数据不平衡和缺乏语言归纳偏置而导致性能不佳。
• 克服标准少样本提示方法的局限性，后者无法有效利用相关语言对中常见的单调对齐特性（即词序保持）。
• 通过采用增量上下文感知的分块翻译方式，将翻译任务分解为可管理的子任务，从而提升翻译的流畅性与准确性。
• 在低资源设置下，验证该方法在印度-雅利安语系、南亚语系和印欧语系等多种语言家族中的鲁棒性能。
• 提供一种实用且可扩展的提示框架，在减轻模型重排负担的同时保持推理效率。

提出的方法

• 将源句子拆分为非重叠的词块，以简化为子句单位的翻译。
• 使用少量示例翻译的少样本提示方法，独立翻译每个词块。
• 采用上下文感知的自回归解码策略，基于先前翻译的词块和源上下文生成后续词块。
• 通过在词块级别翻译中最小化重排，利用相关语言的单调对齐特性（即词序保持）。
• 在独立翻译和上下文翻译两个阶段均采用mT5作为底层编码器-解码器大语言模型。
• 设计两阶段提示流水线：(1) 词块的独立翻译，(2) 基于先前翻译结果和源上下文的增量上下文优化。

实验结果

研究问题

• RQ1 通过利用相关语言中的单调对齐特性，分解提示是否能提升低资源语言对的翻译质量？
• RQ2 与标准少样本提示和序列自回归提示相比，DecoMT在翻译质量与推理效率方面表现如何？
• RQ3 与五少样本设置相比，DecoMT在单样本或零样本设置下的性能是否显著下降？
• RQ4 分块策略在多大程度上减少了模型在长句或复杂句中对重排的需求？
• RQ5 该方法能否在包括印度-雅利安语系、德拉维迪语系和欧洲语言对在内的多种语言家族中实现泛化？

主要发现

• DecoMT在所有评估的语言对上平均优于强基线BLOOM少样本提示方法8 chrF++。
• 在单样本设置下，DecoMT保持强劲性能，而SAP和标准提示方法性能显著下降——例如，hin→tel的spBLEU从五少样本时的19.3降至单少样本时的1.3。
• DecoMT在高资源场景下也表现出稳健性能，表明其适用范围不仅限于低资源设置。
• 与序列自回归提示（SAP）相比，DecoMT减少了推理时间，上下文翻译仅需T/m次前向传播（T为序列长度，m为词块大小）。
• 使用mT5进行零样本翻译时BLEU得分接近零，表明模型在缺乏显式少样本示例的情况下无法识别翻译任务。
• 人工评估确认，与基线相比，DecoMT生成的翻译更具流畅性与准确性，尤其在保持句法结构和词序方面表现更优。