[论文解读] Tortured phrases: A dubious writing style emerging in science. Evidence of critical issues affecting established journals

Guillaume Cabanac, Cyril Labbé+1 more|arXiv (Cornell University)|Jul 12, 2021

Topic Modeling被引用 32

一句话总结

本文介绍了折磨式短语作为不寻常的写作替代语的概念，分析它们在 Microprocessors and Microsystems 中的出现情况，使用 GPT 检测器筛选摘要，并强调编辑不规范和可疑论文，以呼吁进一步调查出版完整性。

ABSTRACT

Probabilistic text generators have been used to produce fake scientific papers for more than a decade. Such nonsensical papers are easily detected by both human and machine. Now more complex AI-powered generation techniques produce texts indistinguishable from that of humans and the generation of scientific texts from a few keywords has been documented. Our study introduces the concept of tortured phrases: unexpected weird phrases in lieu of established ones, such as 'counterfeit consciousness' instead of 'artificial intelligence.' We combed the literature for tortured phrases and study one reputable journal where these concentrated en masse. Hypothesising the use of advanced language models we ran a detector on the abstracts of recent articles of this journal and on several control sets. The pairwise comparisons reveal a concentration of abstracts flagged as 'synthetic' in the journal. We also highlight irregularities in its operation, such as abrupt changes in editorial timelines. We substantiate our call for investigation by analysing several individual dubious articles, stressing questionable features: tortured writing style, citation of non-existent literature, and unacknowledged image reuse. Surprisingly, some websites offer to rewrite texts for free, generating gobbledegook full of tortured phrases. We believe some authors used rewritten texts to pad their manuscripts. We wish to raise the awareness on publications containing such questionable AI-generated or rewritten texts that passed (poor) peer review. Deception with synthetic texts threatens the integrity of the scientific literature.

研究动机与目标

• 识别折磨式短语，作为已确立科学术语的不寻常替代，并评估它们的流行程度。
• 调查 Microprocessors and Microsystems 的编辑实践，寻找时间线异常和潜在不当行为的迹象。
• 评估 GPT 检测器是否能够标记摘要中的合成文本，并将其与真实内容区分开。
• 提供基于案例的可疑出版物证据，促使对编辑程序的审查和研究诚信讨论。

提出的方法

• 通过检索文献并对其正确术语进行逆向工程，编制折磨式短语清单。
• 聚焦 Microprocessors and Microsystems，以考察折磨式短语的集中度及上下文。
• 检索 Dimensions 数据库，识别截至2021年5月包含折磨式短语的论文。
• 从 Elsevier 的 XML 中提取元数据，以分析提交、修订和接受日期。
• 对摘要应用基于 RoBERTa 的 GPT 检测器，以评估合成文本信号。
• 使用经验分布函数和 Dvoretzky–Kiefer–Wolfowitz 置信带，将实验摘要与多个对照集进行比较。

实验结果

研究问题

• RQ1 折磨式短语是否在声誉良好的期刊中比对照集更集中？
• RQ2 GPT 检测器分析是否能够区分期刊的摘要与其他刊物或翻译/翻译式文本？
• RQ3 在 Microprocessors and Microsystems 中是否存在不规则的编辑时间线或非标准编辑实践的迹象？
• RQ4 在单篇文章中，折磨式短语伴随的可疑特征有哪些（例如不存在的引用、图像重复使用）？

主要发现

• 识别出一组折磨式短语，并将其与既定术语联系起来，在 Microprocessors and Microsystems 中具有显著的集中现象。
• 2021 年初的第 80–83 卷的编辑时间线显示平均处理时间下降五倍，并且显著高比例的作者来自中国。
• GPT 检测器分数显示，与多个对照集相比，实验组摘要中合成文本信号的普遍性很高。
• 期刊出现了多篇论文共享相同的提交、修订和接受日期的情况，提示非标准编辑处理或工作负载过重。
• 观察到撤稿和文本/图片重复使用的情况，支持对完整性的担忧并呼吁进一步的编辑调查。
• 实验组摘要的 GPT 检测器分数显著高于许多其他 Elsevier 期刊，促使对出版实践进行审查的呼声。