[논문 리뷰] Tortured phrases: A dubious writing style emerging in science. Evidence of critical issues affecting established journals

Guillaume Cabanac, Cyril Labbé외 1명|arXiv (Cornell University)|2021. 07. 12.

Topic Modeling인용 수 32

한 줄 요약

이 논문은 tortured phrases를 비정상적인 글쓰기 대체로 소개하고, Microprocessors and Microsystems에서의 발생을 분석하며, 초록을 GPT detector로 선별하고, 편집상의 비정상성과 의심스러운 논문들을 지적하여 게재 품질의 진실성에 대한 추가 조사를 촉구한다.

ABSTRACT

Probabilistic text generators have been used to produce fake scientific papers for more than a decade. Such nonsensical papers are easily detected by both human and machine. Now more complex AI-powered generation techniques produce texts indistinguishable from that of humans and the generation of scientific texts from a few keywords has been documented. Our study introduces the concept of tortured phrases: unexpected weird phrases in lieu of established ones, such as 'counterfeit consciousness' instead of 'artificial intelligence.' We combed the literature for tortured phrases and study one reputable journal where these concentrated en masse. Hypothesising the use of advanced language models we ran a detector on the abstracts of recent articles of this journal and on several control sets. The pairwise comparisons reveal a concentration of abstracts flagged as 'synthetic' in the journal. We also highlight irregularities in its operation, such as abrupt changes in editorial timelines. We substantiate our call for investigation by analysing several individual dubious articles, stressing questionable features: tortured writing style, citation of non-existent literature, and unacknowledged image reuse. Surprisingly, some websites offer to rewrite texts for free, generating gobbledegook full of tortured phrases. We believe some authors used rewritten texts to pad their manuscripts. We wish to raise the awareness on publications containing such questionable AI-generated or rewritten texts that passed (poor) peer review. Deception with synthetic texts threatens the integrity of the scientific literature.

연구 동기 및 목표

• 확립된 과학 용어의 비정상적인 대체로서 tortured phrases를 식별하고 그 보급률을 평가한다.
• Microprocessors and Microsystems에서의 편집 관행을 조사하여 비정상적인 일정의 징후와 잠재적 부정행위를 확인한다.
• GPT detectors가 초록의 합성 텍스트를 표시하고 이를 합법적 콘텐츠와 구별할 수 있는지 평가한다.
• 사례 기반의 의심스러운 게시물에 대한 근거를 제공하여 편집 심사와 연구 무결성 논의에 촉발한다.

제안 방법

• 문헌 조사를 통해 tortured phrases의 목록을 작성하고 그들의 올바른 용어를 역설계한다.
• tortured phrases의 집중도와 맥락을 조사하기 위해 Microprocessors and Microsystems를 중심으로 한다.
• May 2021 기준으로 tortured phrases를 포함하는 논문을 식별하기 위해 Dimensions를 조회한다.
• 제출, 수정 및 승인 날짜를 분석하기 위해 Elsevier XML에서 메타데이터를 추출한다.
• 초록에 RoBERTa-based GPT detector를 적용하여 합성 텍스트 신호를 평가한다.
• 실험적 초록을 다수의 대조 집합과 비교하기 위해 경험적 분포 함수와 Dvoretzky–Kiefer–Wolfowitz 신뢰 대역을 사용한다.]

실험 결과

연구 질문

• RQ1 tortured phrases가 대조 집합과 비교하여 신뢰할 수 있는 저널에 집중되어 있는가?
• RQ2 GPT-detector 분석이 저널의 초록을 다른 장소의 초록이나 번역되었거나 번역된 듯한 텍스트와 구별할 수 있는가?
• RQ3 Microprocessors and Microsystems에서 비정상적인 편집 일정이나 비표준 편집 관행의 지표가 있는가?
• RQ4 개별 논문에서 tortured phrases와 함께 나타나는 의심스러운 특징의 종류는 무엇인가? 예: 존재하지 않는 인용, 이미지 재사용.

주요 결과

• 일련의 tortured phrases가 식별되어 확립된 용어와 연결되었으며, Microprocessors and Microsystems에서 주목할 만한 집중이 관찰되었다.
• Vol. 80–83(초기 2021)에서의 편집 일정은 평균 처리 시간이 다섯 배 감소했고 중국 출신 저자들의 현저한 과대표현이 두드러졌다.
• GPT detector 점수는 실험 집합의 초록에서 합성 텍스트 신호의 높은 유병률을 여러 대조 집합과 비교해 나타냈다.
• 저널은 제출, 수정 및 승인 날짜가 동일한 논문 블록을 보였으며, 비표준 편집 처리나 과부하를 시사한다.
• 철회 사례와 텍스트/이미지 재사용 사례가 관찰되어 무결성에 대한 우려를 뒷받침하고 추가 편집 조사 촉구했다.
• 실험 집합의 초록 다수가 GPT detectors에서 높은 점수를 받아 다른 많은 Elsevier 저널보다 현저히 높아 게시 Practices에 대한 면밀한 검토 촉구했다.