[논문 리뷰] Monitoring AI-Modified Content at Scale: A Case Study on the Impact of ChatGPT on AI Conference Peer Reviews

Weixin Liang, Zachary Izzo외 10명|arXiv (Cornell University)|2024. 03. 11.

Artificial Intelligence in Healthcare and Education인용 수 63

한 줄 요약

이 논문은 인공지능(AI)에 의해 크게 수정되었거나 생성된 말뭉치의 텍스트 비율을 추정하기 위한 확장 가능한 최대 우도 방법을 제시하고, ChatGPT 출시 이후 ML 컨퍼런스의 피어리뷰에 이를 적용하여 ICLR, NeurIPS, EMNLP에서 AI-modified 리뷰가 측정 가능하게 증가했음을 밝혀내지만 Nature 저널에서는 그렇지 않음을 보여준다.

ABSTRACT

We present an approach for estimating the fraction of text in a large corpus which is likely to be substantially modified or produced by a large language model (LLM). Our maximum likelihood model leverages expert-written and AI-generated reference texts to accurately and efficiently examine real-world LLM-use at the corpus level. We apply this approach to a case study of scientific peer review in AI conferences that took place after the release of ChatGPT: ICLR 2024, NeurIPS 2023, CoRL 2023 and EMNLP 2023. Our results suggest that between 6.5% and 16.9% of text submitted as peer reviews to these conferences could have been substantially modified by LLMs, i.e. beyond spell-checking or minor writing updates. The circumstances in which generated text occurs offer insight into user behavior: the estimated fraction of LLM-generated text is higher in reviews which report lower confidence, were submitted close to the deadline, and from reviewers who are less likely to respond to author rebuttals. We also observe corpus-level trends in generated text which may be too subtle to detect at the individual level, and discuss the implications of such trends on peer review. We call for future interdisciplinary work to examine how LLM use is changing our information and knowledge practices.

연구 동기 및 목표

• 코퍼스 수준에서 AI 보조 텍스트 사용을 측정할 필요성을 단일 문서 분류에 국한하지 않고 동기화한다.
• 대규모 텍스트 말뭉치에서 AI 생성 콘텐츠 비율을 추정하는 확장 가능한 통계 프레임워크를 개발한다.
• 최고 ML 컨퍼런스의 피어 리뷰에 프레임워크를 적용하여 ChatGPT 이후의 경향을 관찰한다.

제안 방법

• (1-α)P + αQ에서 혼합 비율 α를 추정하는 문제로 프레임을 설정한다. 여기서 P는 사람에 의해 작성된 텍스트이고 Q는 AI가 생성한 텍스트이다.
• 각 문서를 토큰의 발생 집합(형용사)으로 표현하여 토큰 존재 빈도를 통해 P(t)와 Q(t)를 추정한다.
• 로그가능도 L(α) = sum log((1-α)P(x_i) + αQ(x_i))를 사용한 최대우도 추정을 수행한다.
• AI 생성 말뭉치를 추출하기 위해 사람의 리뷰와 논문을 프롬팅하여 교육 데이터를 생성하고 P와 Q를 추정한다.
• 전체 문서 가능도보다 토큰 발생 빈도에서 P와 Q를 추정하여 계산의 용이성 및 강건성을 높인다.
• 검증 대상의 반반합 토의를 통해 인간 및 AI 검증 말뭉치를 샘플링하여 α 추정치를 확인하는 준합성(target)으로 방법을 검증한다.

실험 결과

연구 질문

• RQ1 챗GPT 이후 주요 ML 컨퍼런스의 피어 리뷰 텍스트 중 얼마나 큰 비율이 AI가 생성되었거나 AI에 의해 수정되었는가?
• RQ2 코퍼스 수준의 AI 수정 텍스트 패턴이 심사자 행태 및 대규모 콘텐츠 품질과 어떤 관련이 있는가?
• RQ3 프롬프트 변variation 및 컨퍼런스와 저널 간 도메인 시프트에 대해 이 방법이 강건한가?
• RQ4 단순한 교정(proofreading)과 실질적 AI 수정을 구분할 수 있는가?
• RQ5 리뷰에서 AI 생성 콘텐츠와 함께 나타나는 코퍼스 수준 신호(예: 균질화)에는 어떤 것들이 있는가?

주요 결과

• AI 수정 콘텐츠(α)가 ChatGPT 이후 ML 장소에서 증가: ICLR 2024 리뷰에서는 약 10.6%, EMNLP는 16.9%가 substantial AI modification을 보였고, Nature 리뷰는 유의한 변화가 없었다.
• 마감 기한 3일 이내 제출된 리뷰에서 AI 사용이 더 높은 기한 효과가 나타난다.
• 학술적 인용을 포함한 리뷰(예: “et al.”를 포함)에서 AI 사용 추정치가 더 낮다.
• 저자에 대한 응답 활동이 적은 리뷰일수록 AI 사용 추정치가 더 높다.
• 추정된 AI 수정이 리뷰의 임베딩 공간에서의 균질화와 양의 상관을 보여주며, 개별 문서를 넘어서 코퍼스 수준의 효과를 시사한다.