[논문 리뷰] When Automated Assessment Meets Automated Content Generation: Examining Text Quality in the Era of GPTs
이 연구는 인간이 작성한 텍스트로 훈련된 기계학습(ML) 기반 에세이 점수 모델이 GPT가 생성한 텍스트를 어떻게 평가하는지 평가하기 위한 프레임워크를 제안한다. 6개 장르에서 18,460편의 인간 및 GPT 생성 에세이를 사용하여, BERT와 같은 트랜스포머 기반 모델이 인간 에세이보다 GPT 생성 텍스트를 평균 10–15% 더 높게 평가하는 것으로 나타났다. 이는 모델이 인간 데이터만으로 미세조정되었음에도 불구하고, 사전 훈련 데이터의 중복으로 인한 것으로 보인다. 본 연구는 생성형 AI가 보편화됨에 따라 자동 텍스트 평가의 위험을 부각시킨다.
The use of machine learning (ML) models to assess and score textual data has become increasingly pervasive in an array of contexts including natural language processing, information retrieval, search and recommendation, and credibility assessment of online content. A significant disruption at the intersection of ML and text are text-generating large-language models such as generative pre-trained transformers (GPTs). We empirically assess the differences in how ML-based scoring models trained on human content assess the quality of content generated by humans versus GPTs. To do so, we propose an analysis framework that encompasses essay scoring ML-models, human and ML-generated essays, and a statistical model that parsimoniously considers the impact of type of respondent, prompt genre, and the ML model used for assessment model. A rich testbed is utilized that encompasses 18,460 human-generated and GPT-based essays. Results of our benchmark analysis reveal that transformer pretrained language models (PLMs) more accurately score human essay quality as compared to CNN/RNN and feature-based ML methods. Interestingly, we find that the transformer PLMs tend to score GPT-generated text 10-15\% higher on average, relative to human-authored documents. Conversely, traditional deep learning and feature-based ML models score human text considerably higher. Further analysis reveals that although the transformer PLMs are exclusively fine-tuned on human text, they more prominently attend to certain tokens appearing only in GPT-generated text, possibly due to familiarity/overlap in pre-training. Our framework and results have implications for text classification settings where automated scoring of text is likely to be disrupted by generative AI.
연구 동기 및 목표
- 인간이 작성한 에세이로 훈련된 기계학습 기반 자동 에세이 평가(AES) 모델이 GPT가 생성한 텍스트를 어떻게 평가하는지 조사하기 위해.
- 에세이 장르와 모델 아키텍처가 인간과 GPT 생성 텍스트 간 점수 차이에 미치는 조절 효과를 분석하기 위해.
- 기계학습 평가의 맥락에서 인간과 GPT 생성 에세이를 구분하는 데 사용되는 언어적 단서와 주의 패턴을 규명하기 위해.
- 자연어처리(NLP) 분야에서 자동 콘텐츠 생성과 자동 평가의 교차점에 대해 연구할 수 있는 재현 가능한 프레임워크를 개발하기 위해.
- 모델이 인간 데이터만으로 훈련되었음에도 불구하고 AI 생성 콘텐츠에 편향될 수 있는 자동 점수 시스템의 위험에 대한 실증적 통찰을 제공하기 위해.
제안 방법
- 연구는 6개 장르에서 18,460편의 에세이(15,437편의 인간 생성, 3,023편의 GPT 생성, 1,537편의 GPT-3.5, 1,486편의 GPT-4)를 포함하는 풍부한 테스트베드를 활용한다. 이는 68개의 프롬프트를 기반으로 한다.
- BERT, RoBERTa, CNN/RNN, 특징 기반 모델 등 최신 기술의 AES 모델을 사용하여 인간 및 GPT 생성 에세이를 모두 점수 매긴다.
- 저자성(인간 대 GPT), 프롬프트 장르, 점수 모델 아키텍처의 주효과와 상호작용을 동시에 분석하기 위해 통계 모델을 적용한다.
- 병렬 표현 분석을 통해 주제, 감성, 품사, 철자 오류 등의 언어적 특징을 인간과 GPT 생성 텍스트 간에 비교한다.
- BERT 기반 모델의 주의 히트맵을 분석하여, GPT와 인간 에세이를 평가할 때 모델이 어떤 토큰에 더 많은 주의를 기울이는지 분석한다.
- 프레임워크, 코드, 데이터, 프롬프트 설계는 GitHub를 통해 공개되어 재현성과 향후 연구를 지원한다.
실험 결과
연구 질문
- RQ1RQ1: 최신 기술의 특징 기반 및 딥러닝 모델이 자동 에세이 평가(AES)에 얼마나 효과적인가?
- RQ2RQ2: 인간 생성 콘텐츠로 훈련된 AES 모델이 GPT 모델이 생성한 텍스트를 어떻게 평가하는가? 이 평가에 있어 문서 장르가 조절 효과를 미치는가?
- RQ3RQ3: 인간과 GPT 생성 텍스트 간 가장 뚜렷한 언어적 범주와 단서는 무엇이며, 이러한 차이가 모델의 주의 패턴과 점수에 어떻게 영향을 미치는가?
주요 결과
- BERT와 RoBERTa와 같은 트랜스포머 기반 모델은 CNN/RNN 및 특징 기반 모델보다 인간 에세이의 품질을 더 잘 평가하여, 텍스트 분류 분야에서의 최신 기술 성능을 확인한다.
- 인간 에세이만으로 미세조정되었음에도 불구하고, BERT 기반 모델은 GPT-3.5가 생성한 텍스트를 평균적으로 인간이 작성한 에세이보다 약 15% 더 높게 평가한다.
- 반면, 특징 기반 및 CNN/RNN 모델은 각각 인간이 작성한 에세이를 GPT 생성 텍스트보다 10–15%, 26–32% 더 높게 평가하여, 모델에 따라 심각한 편향이 있음을 시사한다.
- 점수 차이의 원인은 BERT 모델의 주의 패턴과 관련이 있으며, 이는 사전 훈련 데이터와 GPT 생성 텍스트 양쪽 모두에 나타나는 고유명사(예: 저자 또는 캐릭터 이름)에 대해 더 많은 주의를 기울이기 때문이다.
- 언어적 분석 결과, 주제, 감성, 품사, 철자 오류 측면에서 GPT와 인간 에세이 간의 차이가 인간 사용자 간의 성별 또는 인종 간 차이보다 더 뚜렷하게 드러난다.
- 연구 결과는 BERT/RoBERTa와 GPT 모델 간의 사전 훈련 데이터 겹침이, 모델이 명시적으로 해당 콘텐츠로 훈련되지 않았음에도 불구하고 GPT 생성 텍스트를 선호하게 만들 수 있음을 시사한다.
더 나은 연구,지금 바로 시작하세요
논문 읽기부터 검토까지, 연구 시간을 획기적으로 줄여보세요.
카드 등록 없음 · 무료 플랜 제공
이 리뷰는 AI가 만들고, 인간 에디터가 검토했습니다.