[논문 리뷰] Quantitative Analysis of AI-Generated Texts in Academic Research: A Study of AI Presence in Arxiv Submissions using AI Detection Tool

Arslan Akram|arXiv (Cornell University)|2024. 02. 09.

Artificial Intelligence in Healthcare and Education인용 수 6

한 줄 요약

이 논문은 물리학, 수학, 컴퓨터 과학 arXiv 제출물에서 데이터셋을 구축하고 AI 탐지 방법을 평가하여 탐지기의 정확도를 98%로 보고한다.

ABSTRACT

Many people are interested in ChatGPT since it has become a prominent AIGC model that provides high-quality responses in various contexts, such as software development and maintenance. Misuse of ChatGPT might cause significant issues, particularly in public safety and education, despite its immense potential. The majority of researchers choose to publish their work on Arxiv. The effectiveness and originality of future work depend on the ability to detect AI components in such contributions. To address this need, this study will analyze a method that can see purposely manufactured content that academic organizations use to post on Arxiv. For this study, a dataset was created using physics, mathematics, and computer science articles. Using the newly built dataset, the following step is to put originality.ai through its paces. The statistical analysis shows that Originality.ai is very accurate, with a rate of 98%.

연구 동기 및 목표

• 학술 제출물에서 AI 생성 구성 요소를 탐지해야 할 필요성을 동기화하여 원본성 및 진실성을 보장한다.
• 물리학, 수학, 컴퓨터 과학에 걸친 arXiv 기사 데이터셋을 만들어 탐지 방법을 테스트한다.
• 구성된 데이터셋에서 AI 탐지 접근법의 효과를 평가한다.
• 탐지 도구의 정확성과 신뢰성을 AI 생성 콘텐츠 식별에 대해 평가한다.

제안 방법

• 물리학, 수학, 컴퓨터 과학의 arXiv 논문 데이터셋을 구성한다.
• HTTP URL 파이프라인을 통해 데이터셋에 새로 구축된 AI 탐지 방법을 적용한다.
• 탐지기의 정확도를 평가하기 위한 통계 분석을 수행한다.
• 결과의 정확도 지표와 정성적 관찰을 보고한다.

실험 결과

연구 질문

• RQ1 제안된 AI 탐지 방법이 arXiv 제출물의 AI 생성 콘텐츠를 신뢰할 수 있게 식별할 수 있는가?
• RQ2 탐지기가 학문 분야(물리학, 수학, 컴퓨터 과학) 전반에서 어떻게 작동하는가?
• RQ3 구성된 데이터셋에서 탐지 도구의 전반적인 정확도는 얼마인가?
• RQ4 탐지 접근 방식의 한계와 잠재적 오차 원인은 무엇인가?

주요 결과

• 연구는 물리학, 수학, 컴퓨터 과학 기사에서 추출된 데이터셋을 사용한다.
• AI 탐지 파이프라인은 HTTP URL을 통해 arXiv 제출물에서 테스트되었다.
• 통계 분석은 데이터셋에서 탐지기가 높은 정확도를 달성한다는 것을 시사한다.
• 방법의 보고된 정확도는 98%이다.
• 논문에는 결과를 설명하기 위해 6개의 그림과 1개의 표가 포함되어 있다.