[论文解读] Distinguishing Translations by Human, NMT, and ChatGPT: A Linguistic and Statistical Approach

Zhaokun Jiang, Qianxi Lv+2 more|arXiv (Cornell University)|Dec 17, 2023

Natural Language Processing Techniques被引用 6

一句话总结

本研究通过语言特征与统计方法区分人类、NMT及ChatGPT生成的翻译，发现尽管人类译者表现出更高的文化敏感度和风险规避倾向，但ChatGPT的翻译在统计与风格上更接近NMT而非人类翻译，尤其体现在评价性语言使用和多维特征相似性方面。

ABSTRACT

The growing popularity of neural machine translation (NMT) and LLMs represented by ChatGPT underscores the need for a deeper understanding of their distinct characteristics and relationships. Such understanding is crucial for language professionals and researchers to make informed decisions and tactful use of these cutting-edge translation technology, but remains underexplored. This study aims to fill this gap by investigating three key questions: (1) the distinguishability of ChatGPT-generated translations from NMT and human translation (HT), (2) the linguistic characteristics of each translation type, and (3) the degree of resemblance between ChatGPT-produced translations and HT or NMT. To achieve these objectives, we employ statistical testing, machine learning algorithms, and multidimensional analysis (MDA) to analyze Spokesperson's Remarks and their translations. After extracting a wide range of linguistic features, supervised classifiers demonstrate high accuracy in distinguishing the three translation types, whereas unsupervised clustering techniques do not yield satisfactory results. Another major finding is that ChatGPT-produced translations exhibit greater similarity with NMT than HT in most MDA dimensions, which is further corroborated by distance computing and visualization. These novel insights shed light on the interrelationships among the three translation types and have implications for the future advancements of NMT and generative AI.

研究动机与目标

• 探究ChatGPT生成的翻译是否可与人类翻译及NMT翻译区分开来。
• 识别人类、NMT及ChatGPT生成翻译在词汇、句法与文本特征层面的显著语言特征。
• 确定ChatGPT生成的翻译在风格与结构维度上更接近人类翻译还是NMT输出。
• 通过识别人类译者在文化敏感度与语境适应方面的独特优势，为NMT与生成式AI的未来发展提供参考。
• 提出一种基于监督分类、无监督聚类与多维分析（MDA）的方法论框架，用于区分翻译类型。

提出的方法

• 构建了一个专门的语料库，包含《发言人表态》从中文到英文的翻译，该语体融合了正式性与即兴性特征。
• 提取了涵盖词汇、句法与文本层面的广泛语言特征，用于对比分析。
• 应用监督机器学习分类器以高精度区分翻译类型，而无监督聚类方法未能获得令人满意的结果。
• 采用多维分析（MDA）识别潜在的风格维度，并沿这些维度比较不同翻译类型。
• 计算欧几里得距离并使用t-SNE可视化，评估不同翻译类型之间的相对相似性。
• 使用z-变换后的维度得分，对人类、NMT与ChatGPT翻译的风格特征进行定量比较。

实验结果

研究问题

• RQ1 ChatGPT生成的翻译能否在统计上与人类翻译及NMT翻译区分开来？
• RQ2 人类、NMT及ChatGPT生成翻译的显著语言与风格特征是什么？
• RQ3 在语言特征与相似性方面，ChatGPT生成的翻译在多大程度上更接近人类翻译而非NMT输出？
• RQ4 MDA识别出的风格维度如何区分这三种翻译类型？
• RQ5 这些差异对未来将AI翻译工具整合进专业翻译工作流程具有何种启示？

主要发现

• 监督分类器在区分人类、NMT与ChatGPT生成翻译方面取得了高准确率，表明三者具有较强的统计可分性。
• 无监督聚类技术未能生成有意义的分组，表明仅靠聚类难以捕捉翻译类型之间的差异。
• 在MDA的五个维度中的四个维度上，ChatGPT生成的翻译与NMT的相似性显著高于与人类翻译的相似性，这一结果由z-变换得分与箱线图分布证实。
• 评价性与态度性表达在ChatGPT与NMT翻译中更为常见，而人类译者使用频率较低，可能源于外交语境下对风险的规避。
• 距离计算与t-SNE可视化结果表明，ChatGPT翻译与NMT更接近，而人类与NMT输出之间的距离最大。
• 尽管在流利度与自然度方面取得进展，ChatGPT与NMT仍缺乏专业人类翻译所具备的文化敏感度、语言灵活性与语境适应能力。