[논문 리뷰] Detection of Fake Generated Scientific Abstracts

Panagiotis C. Theocharopoulos, Panagiotis Anagnostou외 4명|arXiv (Cornell University)|2023. 04. 12.

Artificial Intelligence in Healthcare and Education참고 문헌 22인용 수 4

한 줄 요약

이 연구는 GPT-3로 생성된 과학적 초록과 인간이 작성한 초록을 구분하는 데 있어 다양한 자연어 처리(NLP) 기법—특히 Word2Vec, BERT 및 LSTM, 로지스틱 회귀와 같은 기계학습 모델의 효과를 평가한다. 최고의 성능을 보인 모델은 Word2Vec를 사용한 LSTM로, 1,000개의 테스트 샘플 중 단지 103개를 잘못 분류하여, 문맥 임bedding 및 시퀀스 모델링 기반 접근 방식을 통해 AI가 생성한 과학적 초록을 신뢰성 있게 탐지할 수 있음을 보여준다.

ABSTRACT

The widespread adoption of Large Language Models and publicly available ChatGPT has marked a significant turning point in the integration of Artificial Intelligence into people's everyday lives. The academic community has taken notice of these technological advancements and has expressed concerns regarding the difficulty of discriminating between what is real and what is artificially generated. Thus, researchers have been working on developing effective systems to identify machine-generated text. In this study, we utilize the GPT-3 model to generate scientific paper abstracts through Artificial Intelligence and explore various text representation methods when combined with Machine Learning models with the aim of identifying machine-written text. We analyze the models' performance and address several research questions that rise during the analysis of the results. By conducting this research, we shed light on the capabilities and limitations of Artificial Intelligence generated text.

연구 동기 및 목표

• 다양한 NLP 및 기계학습 방법을 활용해 GPT-3로 생성된 과학적 초록의 탐지 가능성에 대해 조사한다.
• 로지스틱 회귀, SVM, LSTM, BiLSTM 등 다양한 기계학습 분류기와 조합된 텍스트 표현 기법—Word2Vec, BERT, TF-IDF의 성능을 평가한다.
• 잘못 분류된 초록의 언어적 및 구조적 특성을 규명하여 탐지 모델의 한계를 이해한다.
• AI가 생성한 학술 문서가 학술 윤리 및 연구 분야의 표절 문제에 끼치는 영향을 탐색한다.

제안 방법

• 제시된 제목을 바탕으로 GPT-3 언어 모델을 사용해 과학적 초록을 생성했다.
• 다양한 텍스트 표현 방법을 적용: TF-IDF, Word2Vec, BERT 임베딩.
• 생성된 초록과 인간이 작성한 초록을 대상으로 로지스틱 회귀, 서포트 벡터 머신(SVM), LSTM, BiLSTM 등의 기계학습 모델을 훈련하고 평가했다.
• Word2Vec 임베딩을 활용해 문맥적 단어 표현을 확보하고, LSTM을 사용해 초록 내의 장거리 의존성을 포착하는 시퀀스 모델링을 적용했다.
• 잘못 분류된 샘플을 분석하기 위해 통계적 분석과 단어 빈도 비교를 실시했다.
• 잘못 분류된 AI 생성 및 인간 작성 텍스트의 패턴을 규명하기 위해 제목과 초록의 정성적 분석을 수행했다.

Figure 1: Schematic overview of the study. Dataset Generation: From the CORD-19 data has been collected the titles and the abstracts of the academic literature. The titles of the selected work have been prompted to GPT-3 model, via its API for the AI-generated abstract based on its title (Left). Dat

실험 결과

연구 질문

• RQ1 입력 제목의 길이가 AI 생성 초록을 정확히 분류하는 데 모델의 능력에 영향을 미치는가?
• RQ2 TF-IDF, Word2Vec, BERT 중 어떤 텍스트 표현 기법이 AI 생성 초록과 인간 작성 초록를 구분하는 데 가장 높은 정확도를 낳는가?
• RQ3 잘못 분류되어 인간 작성으로 간주된 AI 생성 초록의 언어적 특징는 무엇인가?
• RQ4 특히 잘못 분류된 샘플에서 인간이 작성한 초록과 AI가 생성한 초록의 단어 빈도 분포는 어떻게 다른가?
• RQ5 합성 데이터로 훈련된 모델이 더 새로운 또는 더 정교한 AI 생성 텍스트를 탐지하는 데 일반화 가능한가?

주요 결과

• Word2Vec 임베딩을 사용한 LSTM 모델이 가장 높은 분류 정확도를 기록했으며, 1,000개의 테스트 샘플 중 단지 103개를 잘못 분류했다.
• 더 높은 어휘 다양성과 도메인 전문 용어를 포함한 AI 생성 초록은 인간이 작성한 것으로 잘못 분류될 가능성이 더 높았다.
• 간단한 어휘와 낮은 어휘 풍부도를 가진 인간 작성 초록은 AI 생성으로 잘못 분류되는 경우가 더 자주 발생했다.
• 단어 빈도 분석 결과, 잘못 분류된 AI 생성 초록에는 일반적인 단어보다 더 드문, 도메인 전문 용어(예: '인플루엔자', '치료법')가 더 많이 포함되어 있었다.
• 잘못 분류된 AI 생성 초록의 제목은 평균보다 훨씬 더 드문 특정 용어를 포함하고 있어, 더 풍부한 입력 프롬프트가 생성 품질을 향상시키고 탐지 회피를 가능하게 한다는 점을 시사한다.
• 이 연구는 현재의 LLM 생성 과학적 초록들이 높은 정확도로 탐지 가능하다는 것을 확인하지만, 프롬프트 엔지니어링과 어휘의 정교함 향상으로 인해 탐지 과제는 더욱 어려워지고 있음을 보여준다.

Figure 2: Most frequent word appearances in both the human-created texts (left) and the AI-generated texts (right).