[논문 리뷰] Is ChatGPT Transforming Academics' Writing Style?

Mingmeng Geng, Roberto Trotta|arXiv (Cornell University)|2024. 04. 12.

Artificial Intelligence in Healthcare and Education인용 수 5

한 줄 요약

이 논문은 백만 개의 arXiv 초록을 분석하여 단어 빈도 변화로 ChatGPT가 남긴 글쓰기 스타일을 탐지하고, 범주와 시간에 따라 ChatGPT의 영향을 추정하며, 컴퓨터 과학에서 가장 강한 효과를 보이는 것으로 나타났습니다(간단한 프롬프트 하에서 약 35%).

ABSTRACT

Based on one million arXiv papers submitted from May 2018 to January 2024, we assess the textual density of ChatGPT's writing style in their abstracts through a statistical analysis of word frequency changes. Our model is calibrated and validated on a mixture of real abstracts and ChatGPT-modified abstracts (simulated data) after a careful noise analysis. The words used for estimation are not fixed but adaptive, including those with decreasing frequency. We find that large language models (LLMs), represented by ChatGPT, are having an increasing impact on arXiv abstracts, especially in the field of computer science, where the fraction of LLM-style abstracts is estimated to be approximately 35%, if we take the responses of GPT-3.5 to one simple prompt, "revise the following sentences", as a baseline. We conclude with an analysis of both positive and negative aspects of the penetration of LLMs into academics' writing style.

연구 동기 및 목표

• ChatGPT가 arXiv 초록의 학술적 글쓰기 스타일에 영향을 미치는지 동기를 제시하고 정량화한다.
• 시간에 따라 ChatGPT와 유사한 단어 빈도 특징을 탐지하는 통계적 프레임워크를 개발한다.
• 실제 초록과 ChatGPT로 수정된(시뮬레이션된) 초록을 사용해 방법을 보정하고 검증한다.
• 학문 분야와 시간에 걸친 ChatGPT 영향 텍스트의 밀도를 추정한다.
• ChatGPT의 학술 글쓰기 침투에 따른 시사점, 이점, 위험을 논의한다.

제안 방법

• 시간에 따른 단어 빈도 변화를 측정하기 위한 변화 인자 R_i를 정의한다(식 1).
• 간단한 프롬트를 사용해 실제 초록을 다듬는 ChatGPT 기반 시뮬레이션으로 단어 변화율 r̂_ij를 추정한다(식 2).
• 초록에 영향을 받은 비율을 나타내는 η_j(t) 항으로 ChatGPT의 영향을 모델링한다(식 5).
• 노이즈 δ_ij를 포함하고 η_j를 추정하기 위한 편향 인식 손실 L_j,t(η_j)을 구성한다(식 18–23).
• 단어 집합 I_j를 보정하고 다양한 프롬트와 혼합 비율로 강건성을 검증한다(식 35–37).
• ChatGPT 도입 이전 기간을 사용해 f*_ij(t)를 보정하고 GPT-3.5 기반 시뮬레이션으로 검증한다(제4절).

Figure 1: The 12 words with the highest change rate $R_{i}$ and satisfying $\max_{t}(f_{i}(t))>500$ . The vertical red dashed line demarcates the first time period after ChatGPT’s release.

실험 결과

연구 질문

• RQ1 단어 빈도에서의 통계적 서명이 arXiv 초록에 대한 ChatGPT의 영향을 드러낼 수 있는가?
• RQ2 ChatGPT가 학문 분야별로 그리고 시간의 흐름에 따라 단어 사용에 어떤 영향을 미치는가?
• RQ3 특히 CS에서 서로 다른 분야의 ChatGPT 스타일 글쓰기의 밀도는 얼마인가?
• RQ4 다른 프롬트와 보정 선택에 대한 추정의 강건성은 어느 정도인가?
• RQ5 단어 빈도수를 이용해 ChatGPT 영향력을 측정하는 데 있어 한계와 잠재적 편향은 무엇인가?

주요 결과

• ChatGPT 스타일의 텍스트 침투는 공개 이후 arXiv 초록에서 탐지되며, 컴퓨터 과학이 가장 큰 수용을 보였다.
• CS에서의 ChatGPT 영향은 간단한 프롬프트 기준선(“다음 문장을 수정하십시오.”)을 사용해 약 35%로 추정되었다.
• 단어 빈도 변화는 주제 경향(예: COVID-19, LLMs, AI)과 비주제적 변화(예: 기능어 ‘are’/‘is’와 같은 단어) 모두를 반영한다.
• ‘significant’와 같은 단어가 시뮬레이션된 ChatGPT 처리에서 여러 카테고리(CS, 수학, 천체물리학, 응집 물질)에서 상당한 증가를 보인다.
• 보정 기반의 투명한 빈도 분석 접근법은 블랙박스 탐지기에 의존하지 않고 ChatGPT의 영향을 정량화할 수 있다.

Figure 2: Examples of words with rapidly growing frequency in arXiv abstracts.