[論文レビュー] Tortured phrases: A dubious writing style emerging in science. Evidence of critical issues affecting established journals

Guillaume Cabanac, Cyril Labbé+1 more|arXiv (Cornell University)|Jul 12, 2021

Topic Modeling被引用数 32

ひとこと要約

本論文は tortured phrases を unusual writing substitutions として導入し、それらの出現を Microprocessors and Microsystems で分析し、GPT detector で要旨をスクリーニングし、編集上の不規則性と疑わしい論文を指摘して publication integrity のさらなる調査を呼びかけます。

ABSTRACT

Probabilistic text generators have been used to produce fake scientific papers for more than a decade. Such nonsensical papers are easily detected by both human and machine. Now more complex AI-powered generation techniques produce texts indistinguishable from that of humans and the generation of scientific texts from a few keywords has been documented. Our study introduces the concept of tortured phrases: unexpected weird phrases in lieu of established ones, such as 'counterfeit consciousness' instead of 'artificial intelligence.' We combed the literature for tortured phrases and study one reputable journal where these concentrated en masse. Hypothesising the use of advanced language models we ran a detector on the abstracts of recent articles of this journal and on several control sets. The pairwise comparisons reveal a concentration of abstracts flagged as 'synthetic' in the journal. We also highlight irregularities in its operation, such as abrupt changes in editorial timelines. We substantiate our call for investigation by analysing several individual dubious articles, stressing questionable features: tortured writing style, citation of non-existent literature, and unacknowledged image reuse. Surprisingly, some websites offer to rewrite texts for free, generating gobbledegook full of tortured phrases. We believe some authors used rewritten texts to pad their manuscripts. We wish to raise the awareness on publications containing such questionable AI-generated or rewritten texts that passed (poor) peer review. Deception with synthetic texts threatens the integrity of the scientific literature.

研究の動機と目的

• 確立された科学用語の unusual substitutes として、tortured phrases を同定し、その蔓延を評価する。
• Microprocessors and Microsystems における編集実践を調査し、 irregular timelines や潜在的不正行為の兆候を探る。
• GPT detectors が要旨の合成テキストを検出し、正当な内容と区別できるかを評価する。
• ケースベースの証拠を提供して疑わしい出版物を示し、編集監視と研究の誠実性の議論を刺激する。

提案手法

• 文献を調査し、正しい用語へル再設計して tortured phrases のリストを作成する。
• Microprocessors and Microsystems に焦点を当て、tortured phrases の集中と文脈を検討する。
• May 2021 時点で tortured phrases を含む論文を特定するため Dimensions を照合する。
• Elsevier XML からメタデータを抽出し、提出日・改稿日・採択日の分析を行う。
• 要旨に対して RoBERTa ベースの GPT detector を適用し、人工的テキストの信号を評価する。
• 実験的な要旨を複数の対照セットと比較し、経験的分布関数と Dvoretzky–Kiefer–Wolfowitz 信頼帯を用いて検定する。

実験結果

リサーチクエスチョン

• RQ1 tortured phrases は control セットと比べて信頼できるジャーナルに集中しているのか。
• RQ2 GPT-detector の分析は journal の要旨を他の場や翻訳・翻訳風テキストと区別できるのか。
• RQ3 Microprocessors and Microsystems において不規則な編集タイムラインや非標準的な編集慣行の指標はあるのか。
• RQ4 個々の論文に tortured phrases を伴う dubitable features（例：存在しない引用、画像の再利用）はどのようなものか。

主な発見

• tortured phrases のセットが特定され、確立された terminology へ関連づけられ、Microprocessors and Microsystems に顕著な集中が見られた。
• Volumes 80–83（2021年初頭）の編集タイムラインは平均処理時間が5分の1に減少し、中国出身の著者の過剰代表が顕著であった。
• GPT detector のスコアは、実験セットの要旨に対して複数の対照セットと比べて人工的テキスト信号の蔓延が高いことを示した。
• ジャーナルには提出日・改稿日・採択日が同一である論文のブロックが見られ、非標準的な編集処理や過負荷を示唆していた。
• 撤回とテキスト/画像再利用の事例が観察され、誠実性への懸念を支持し、さらなる編集調査を求める。
• 実験セットの要旨の多くが GPT detectors で高得点を示し、他の多くの Elsevier ジャーナルよりもかなり高く、出版慣行の精査が求められる。