[논문 리뷰] Towards Automatic Boundary Detection for Human-AI Collaborative Hybrid Essay in Education

Zijie Zeng, Lele Sha외 4명|arXiv (Cornell University)|2023. 07. 23.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 인간-AI 협업 하이브리드 에세이에서 인간이 작성한 내용과 AI가 생성한 내용 간 전환점을 자동으로 탐지하기 위한 이단계 방법인 TriBERT를 제안한다. 전이 학습된 문장 임베딩을 기반으로 클러스터링을 수행하고, 인접한 프로토타입 간의 최대 이질성을 탐지함으로써 전환점을 식별한다. 큰 프로토타입 크기를 사용할 경우 단일 전환점이 존재하는 텍스트에서 도메인 내 평가에서 최고의 베이스라인 대비 최대 22% 향상되고, 도메인 외 평가에서는 18% 향상된다.

ABSTRACT

The recent large language models (LLMs), e.g., ChatGPT, have been able to generate human-like and fluent responses when provided with specific instructions. While admitting the convenience brought by technological advancement, educators also have concerns that students might leverage LLMs to complete their writing assignments and pass them off as their original work. Although many AI content detection studies have been conducted as a result of such concerns, most of these prior studies modeled AI content detection as a classification problem, assuming that a text is either entirely human-written or entirely AI-generated. In this study, we investigated AI content detection in a rarely explored yet realistic setting where the text to be detected is collaboratively written by human and generative LLMs (i.e., hybrid text). We first formalized the detection task as identifying the transition points between human-written content and AI-generated content from a given hybrid text (boundary detection). Then we proposed a two-step approach where we (1) separated AI-generated content from human-written content during the encoder training process; and (2) calculated the distances between every two adjacent prototypes and assumed that the boundaries exist between the two adjacent prototypes that have the furthest distance from each other. Through extensive experiments, we observed the following main findings: (1) the proposed approach consistently outperformed the baseline methods across different experiment settings; (2) the encoder training process can significantly boost the performance of the proposed approach; (3) when detecting boundaries for single-boundary hybrid essays, the proposed approach could be enhanced by adopting a relatively large prototype size, leading to a 22% improvement in the In-Domain evaluation and an 18% improvement in the Out-of-Domain evaluation.

연구 동기 및 목표

• 인간과 대규모 언어 모델(LLM)이 협업하여 작성하는 하이브리드 텍스트에 대한 AI 콘텐츠 탐지의 격차를 해소하기 위해, 텍스트가 순수하게 인간이 작성했거나 순수하게 AI가 생성한 것으로 가정하지 않고, 이를 대체한다.
• AI 콘텐츠 탐지를 경계 탐지 문제로 정식화함으로써, 하이브리드 에세이 내에서 인간이 작성한 부분과 AI가 생성한 부분 간의 전환점을 식별한다.
• 정확한 AI 생성 콘텐츠 국소화를 가능하게 하는 방법을 개발하여, 교사들이 의심스러운 부분을 식별하고 피드백이나 재작성에 활용할 수 있도록 지원한다.
• 프로토타입 크기와 경계 수가 탐지 성능에 미치는 영향을 조사하여, 실세계 적용에 실질적인 지침을 제공한다.

제안 방법

• 원본 학생 에세이에서 문장을 무작위로 제거하고, ChatGPT를 사용하여 AI 생성 콘텐츠로 대체함으로써 하이브리드 에세이 데이터셋을 구축한다.
• 이중 단계 접근법을 제안한다: 첫 번째로, 대조 학습을 활용하여 트레이닝 중에 AI 생성 콘텐츠와 인간이 작성한 콘텐츠를 분리할 수 있도록 TriBERT 인코더를 미세조정한다.
• 하이브리드 텍스트 내 문장을 연속된 문장 시퀀스 기반으로 프로토타입으로 그룹화하며, 각 프로토타입은 구성 문장의 평균 임베딩으로 표현된다.
• 임베딩 공간에서 인접한 프로토타입 간의 거리를 계산하고, 가장 큰 이질성을 보이는 프로토타입 쌍을 경계로 식별한다.
• 경계 수에 따라 프로토타입 크기를 동적으로 조정한다: 더 작은 경계 수가 있는 텍스트(예: 한 개의 경계)에서는 더 큰 크기가 최적이고, 여러 경계가 있는 텍스트에서는 더 작은 크기가 더 효과적이다.
• 도메인 내 및 도메인 외 설정에서 평가를 실시하여, 미세조정된 BERT 및 상용 검출기(GPTZero)와의 성능을 비교한다.

실험 결과

연구 질문

• RQ1 전체 텍스트를 인간 또는 AI 생성으로 분류하는 것이 아니라, 인간이 작성한 내용과 AI가 생성한 내용 간 정확한 경계를 어떻게 탐지할 수 있는가?
• RQ2 특히 경계 수가 변할 경우, 프로토타입 크기가 경계 탐지 성능에 어떤 영향을 미치는가?
• RQ3 도메인 내 및 도메인 외 설정에서 기존의 베이스라인, 즉 미세조정된 BERT와 GPTZero와 같은 상용 검출기와 비교할 때, 제안된 방법의 성능은 어떠한가?
• RQ4 인코더 학습 과정에서 AI 및 인간 콘텐츠를 분리하도록 설계하면 탐지 성능 향상에 상당한 기여를 할 수 있는가?
• RQ5 하이브리드 텍스트에서 경계 탐지에 있어 더 큰 프로토타입 크기를 사용하는 것이 유리한 조건은 무엇인가?

주요 결과

• 제안된 TriBERT 방법은 모든 실험 설정에서 미세조정된 BERT 및 상용 GPTZero 검출기와 같은 기존의 베이스라인 방법을 일관되게 뛰어넘었다.
• AI 및 인간 콘텐츠를 분리하는 방식으로 인코더 학습 과정을 설계함으로써 탐지 성능이 크게 향상되었으며, 이는 표현 학습의 중요성을 시사한다.
• 단일 경계가 존재하는 하이브리드 에세이에서는 더 큰 프로토타입 크기(p=4)를 사용할 경우, 도메인 내 평가에서 최고의 베이스라인 대비 22% 향상되었고, 도메인 외 평가에서는 18% 향상되었다.
• 경계 수가 증가할 경우(예: 여러 번의 전환), 더 작은 프로토타입 크기가 더 효과적이었으며, 이는 하이브리드 텍스트의 복잡성에 따라 프로토타입 크기를 적응적으로 조정해야 한다는 것을 시사한다.
• 상용 검출기인 GPTZero가 실패한 경우에도, 이 방법은 하이브리드 텍스트 내 전환점을 성공적으로 식별했으며, 전체 텍스트가 낮은 신뢰도(예: 51% 인간 작성)로 분류된 경우에도 마찬가지였다.
• 결과적으로 TriBERT는 교사들이 학생 에세이 내에서 AI 생성 콘텐츠를 탐지하고 국소화하는 데 신뢰할 수 있는 보조 도구로 기능할 수 있음을 보여주며, 타겟된 피드백이나 재작성에 활용할 수 있다.