[논문 리뷰] GPT detectors are biased against non-native English writers

Weixin Liang, Mert Yüksekgönül외 3명|arXiv (Cornell University)|2023. 04. 06.

Artificial Intelligence in Healthcare and Education인용 수 37

한 줄 요약

GPT detectors misclassify many non-native English essays as AI-generated, while native English writings are identified correctly; simple prompts can bypass detectors, raising ethical concerns for education and evaluation.

ABSTRACT

The rapid adoption of generative language models has brought about substantial advancements in digital communication, while simultaneously raising concerns regarding the potential misuse of AI-generated content. Although numerous detection methods have been proposed to differentiate between AI and human-generated content, the fairness and robustness of these detectors remain underexplored. In this study, we evaluate the performance of several widely-used GPT detectors using writing samples from native and non-native English writers. Our findings reveal that these detectors consistently misclassify non-native English writing samples as AI-generated, whereas native writing samples are accurately identified. Furthermore, we demonstrate that simple prompting strategies can not only mitigate this bias but also effectively bypass GPT detectors, suggesting that GPT detectors may unintentionally penalize writers with constrained linguistic expressions. Our results call for a broader conversation about the ethical implications of deploying ChatGPT content detectors and caution against their use in evaluative or educational settings, particularly when they may inadvertently penalize or exclude non-native English speakers from the global discourse. The published version of this study can be accessed at: www.cell.com/patterns/fulltext/S2666-3899(23)00130-7

연구 동기 및 목표

• 공개적으로 이용 가능한 GPT 탐지기가 모국 영어 쓰기 샘플과 비모국 영어 쓰기 샘플에서 얼마나 공정하고 강인한지 평가한다.
• 탐지기 전반에 걸쳐 비모국 작가에 대한 거짓 양성 및 모국 작가에 대한 거짓 음성을 정량화한다.
• 언어적 강화나 프롬프트가 탐지기의 성능에 영향을 주는지 조사한다.
• 탐지기가 perplexity에 의존하는 것이 비모국 작가에 대한 편향에 기여하는지 살펴본다.
• AI 콘텐츠 탐지기의 보다 안전하고 공정한 사용을 위한 권고를 제시한다.

제안 방법

• TOEFL 에세이(non-native writers)와 US 8th-grade 에세이(native writers)에 대해 7개의 상용 GPT 탐지기를 평가한다.
• 탐지기 간 AI 생성 분류의 거짓 양성률과 만장일치 여부를 계산한다.
• 그룹 간 perplexity 차이를 분석하고 탐지 결과와의 상관관계를 확인한다.
• ChatGPT 프롬프트를 사용하여 언어를 향상시키거나 단순화하고 오분류 및 perplexity에 미치는 영향을 평가한다.
• 2차 라운드 자체 편집 프롬프트를 테스트하여 탐지기 우회 가능성을 평가한다.
• ICLR 2023 수락 논문을 사용한 교차 도메인 확인으로 perplexity 차이를 모국/비모국 작가별로 평가하는 보조 분석을 수행한다.

실험 결과

연구 질문

• RQ1 다수의 탐지기에 대해 비모국 영어 작문이 모국 작문에 비해 더 높은 거짓 양성률을 보이는가?
• RQ2 언어적 강화나 프롬프트 전략이 탐지기 편향을 완화하거나 반대로 탐지기를 우회하게 하는가?
• RQ3 perplexity가 모국/비모국 작문에 걸쳐 AI 생성 텍스트를 탐지하는 독립적인 신호로 신뢰할 수 있는가?
• RQ4 TOEFL/대학 에세이를 넘어서 학술 글쓰기 맥락(예: 학회 초록)에 탐지기 편향이 어떻게 나타나는가?

주요 결과

• 탐지기들은 비모국 TOEFL 에세이의 절반 이상을 AI 생성물로 잘못 분류한다(평균 거짓 양성률: 61.22%).
• 탐지기들은 91편의 TOEFL 에세이 중 18편을 만장일치로 AI생성물로 식별했고, 89편은 최소 한 개의 탐지기에 의해 지목되었습니다.
• ChatGPT를 통해 비모국 에세이에 원어 화자와 유사한 어휘 선택을 강화하면 오분류가 61.22%에서 11.77%로 감소했습니다(1/91이 만장일치로 AI-작성).
• 반대로, 모국 대학 에세이를 비모국 작문처럼 단순화하면 오분류가 56.65%로 증가했습니다.
• 2차 라운드 자체 편집 프롬프트는 탐지 비율을 대폭 낮출 수 있어(일부 사례에서 최대 13%까지, 최고 100%에서), perplexity를 증가시켜 프롬프트 설계에 취약함을 보여준다.
• ICLR 2023 초록 분석은 비모국 작가의 초록에서 perplexity가 더 낮음을 보여주며, 언어적 변동성과 탐지기 편향 사이의 연관성을 지지한다.