[论文解读] Gradable ChatGPT Translation Evaluation

Hui Jiao, Bei Peng+3 more|arXiv (Cornell University)|Jan 18, 2024

Topic Modeling被引用 4

一句话总结

本文提出 T3S，一种针对 ChatGPT 翻译的统一可分级提示分类法，按风格、领域和细节层级对提示进行分类，以提升翻译质量。通过系统化组织提示，该方法在包括医疗和法律等专业领域在内的多样化翻译任务中显著提升了 ChatGPT 的表现，表明结构化提示能显著提高输出的准确性和一致性，优于标准提示。

ABSTRACT

ChatGPT, as a language model based on large-scale pre-training, has exerted a profound influence on the domain of machine translation. In ChatGPT, a "Prompt" refers to a segment of text or instruction employed to steer the model towards generating a specific category of response. The design of the translation prompt emerges as a key aspect that can wield influence over factors such as the style, precision and accuracy of the translation to a certain extent. However, there is a lack of a common standard and methodology on how to design and select a translation prompt. Accordingly, this paper proposes a generic taxonomy, which defines gradable translation prompts in terms of expression type, translation style, POS information and explicit statement, thus facilitating the construction of prompts endowed with distinct attributes tailored for various translation tasks. Specific experiments and cases are selected to validate and illustrate the effectiveness of the method.

研究动机与目标

• 解决由于提示不结构化或欠佳导致的 ChatGPT 在翻译任务中表现不一致的问题。
• 基于风格、领域和细节层级，开发一种标准化、可扩展的翻译提示分类法。
• 通过支持领域特定和上下文感知的提示策略，提升 ChatGPT 的翻译质量。
• 支持研究人员分析大语言模型在不同翻译任务中的行为与性能差异。
• 通过基于提示的系统性评估，识别性能瓶颈，指导模型优化。

提出的方法

• T3S 分类法将提示分为三个维度：风格（例如，正式、非正式）、领域（例如，医疗、法律、技术）和细节层级（例如，最低、中等、全面）。
• 该方法采用分层框架，将提示类型映射到不同上下文和领域的适当翻译策略。
• 它利用现有的提示工程技术，如思维链（CoT）和 few-shot 提示，将其整合到领域特定的模板中。
• 该方法使 ChatGPT 能够根据提示分类动态选择翻译策略，减少歧义和错误传播。
• 通过在多个翻译任务中进行对比评估，结合类人评估和错误分析，对分类法进行验证。
• 该框架支持提示的迭代优化，并通过结构化性能评估提供反馈以促进模型改进。

实验结果

研究问题

• RQ1 提示的结构和具体程度在不同领域中如何影响 ChatGPT 的翻译表现？
• RQ2 是否可以通过标准化的提示分类法提升大语言模型翻译中的一致性和准确性？
• RQ3 在专业领域中，哪些提示设计的关键维度显著影响翻译质量？
• RQ4 T3S 如何实现提示特征与 ChatGPT 翻译策略选择之间的更好对齐？
• RQ5 提示分类在多大程度上能减少大语言模型生成翻译中的错误和偏见？

主要发现

• 与标准或非结构化提示相比，T3S 显著提升了 ChatGPT 在复杂、领域特定任务中的翻译表现。
• 在 T3S 框架内使用详细且领域特定的提示，可减少翻译错误并提升上下文准确性。
• 按风格和细节层级分类的提示，其输出比通用或最小化提示更一致、更可靠。
• 该分类法有助于更好地识别模型局限性，从而实现针对性反馈与优化。
• 当通过 T3S 引导时，ChatGPT 的表现超越基础提示，在专业领域中通过适当的提示工程，可接近或超过商业工具。
• 错误分析显示，结构化提示可减少翻译输出中的幻觉和事实不一致。