[논문 리뷰] ChatGPT "contamination": estimating the prevalence of LLMs in the scholarly literature

Andrew Gray|arXiv (Cornell University)|2024. 03. 25.

Artificial Intelligence in Healthcare and Education인용 수 29

한 줄 요약

본 논문은 2023년에 대형 언어 모델(LLMs)처럼 ChatGPT와 같은 대형 언어 모델이 도움이 되었는지 여부를 LLM 생성 텍스트에 비례적으로 많이 나타나는 키워드를 사용하여 추정하고, 최소 60,000편의 논문(전체 논문 중 약 1%를 살짝 넘는 비율)으로 추정합니다.

ABSTRACT

The use of ChatGPT and similar Large Language Model (LLM) tools in scholarly communication and academic publishing has been widely discussed since they became easily accessible to a general audience in late 2022. This study uses keywords known to be disproportionately present in LLM-generated text to provide an overall estimate for the prevalence of LLM-assisted writing in the scholarly literature. For the publishing year 2023, it is found that several of those keywords show a distinctive and disproportionate increase in their prevalence, individually and in combination. It is estimated that at least 60,000 papers (slightly over 1% of all articles) were LLM-assisted, though this number could be extended and refined by analysis of other characteristics of the papers or by identification of further indicative keywords.

연구 동기 및 목표

• LLM 도구가 학술 글쓰기에 얼마나 널리 사용되는지 이해를 자극합니다.
• 문헌에서 LLM 보조 작성을 탐지하기 위한 키워드 기반 방법론을 제안합니다.
• 2023년 게시 연도의 LLM 보조 논문 유병률을 추정합니다.

제안 방법

• LLM 생성 텍스트에 비율적으로 많이 나타나는 키워드를 지표로 사용합니다.
• 2023년 학술 텍스트에서 이러한 키워드의 유병률을 분석하여 불균형적인 증가를 탐지합니다.
• 개별 키워드와 그 조합을 모두 고려하여 LLM 보조 작성 서명을 식별합니다.
• 키워드 신호를 바탕으로 총 LLM 보조 논문의 수를 추정합니다.

실험 결과

연구 질문

• RQ1 키워드 세트가 LLM 생성 텍스트에서 비례적으로 많이 나타나는가요, 이를 통해 학술 코퍼스의 LLM 보조 작성이 드러날 수 있나요?
• RQ2 키워드 유병률을 바탕으로 2023년 학술 기사 중 LLM 보조 비율은 얼마나 되나요?
• RQ3 개별 키워드와 키워드 조합이 LLM 오염 탐지에 어떻게 기여하나요?
• RQ4 문헌에서 LLM 보조 유병률의 정밀도를 개선하기 위한 어떤 개선점이 있나요?

주요 결과

• 여러 키워드가 2023년에 개별적으로 그리고 조합적으로도 뚜렷하고 비례적으로 증가하는 경향을 보입니다.
• 2023년에 최소 60,000편의 논문이 LLM 보조를 받은 것으로 추정되며, 이는 모든 기사 중 약 1%를 약간 넘는 비율입니다.
• 추가 논문 특성 분석이나 더 유의한 키워드를 식별하여 추정을 확장하거나 정교화할 수 있습니다.