[논문 리뷰] Real or Fake Text?: Investigating Human Ability to Detect Boundaries Between Human-Written and Machine-Generated Text

Liam Dugan, Daphne Ippolito외 3명|arXiv (Cornell University)|2022. 12. 24.

Topic Modeling인용 수 7

한 줄 요약

이 논문은 혼합 장르의 문장에서 인간이 작성한 글과 기계가 생성한 글의 전환점을 탐지할 수 있는 인간의 능력을 연구하며, 게임화된 경계 탐지 작업을 통해 이를 평가한다. 연구 결과, 탐지 성능은 개인에 따라 크게 다를 수 있으나, 보상 제도와 특정 텍스트 특성(예: 명사어, 문장 길이)이 탐지 정확도와 강하게 관련되어 있음을 발견했으며, 향후 연구를 지원하기 위해 21,000개의 인간 레이블이 부여된 RoFT 데이터셋을 공개한다.

ABSTRACT

As text generated by large language models proliferates, it becomes vital to understand how humans engage with such text, and whether or not they are able to detect when the text they are reading did not originate with a human writer. Prior work on human detection of generated text focuses on the case where an entire passage is either human-written or machine-generated. In this paper, we study a more realistic setting where text begins as human-written and transitions to being generated by state-of-the-art neural language models. We show that, while annotators often struggle at this task, there is substantial variance in annotator skill and that given proper incentives, annotators can improve at this task over time. Furthermore, we conduct a detailed comparison study and analyze how a variety of variables (model size, decoding strategy, fine-tuning, prompt genre, etc.) affect human detection performance. Finally, we collect error annotations from our participants and use them to show that certain textual genres influence models to make different types of errors and that certain sentence-level features correlate highly with annotator selection. We release the RoFT dataset: a collection of over 21,000 human annotations paired with error classifications to encourage future work in human detection and evaluation of generated text.

연구 동기 및 목표

• 실제 혼합 장르의 문장에서 인간이 작성한 글과 기계가 생성한 글의 전환점을 탐지할 수 있는 인간의 능력을 평가하기 위해.
• 모델 크기, 디코딩 전략, 파인튜닝, 프롬프트 장르와 같은 요소가 인간의 탐지 성능에 미치는 영향을 조사하기 위해.
• 실제 글과 생성된 글을 구분하는 데 사용되는 오류 패턴과 문장 수준의 특징을 분석하기 위해.
• 보상과 경험의 유무가 경계 탐지 작업에서의 인간의 정확도에 어떤 영향을 미치는지 평가하기 위해.
• 21,000개의 인간 레이블과 오류 분류가 포함된 RoFT 데이터셋을 공개하여 향후 생성 텍스트 탐지 가능성에 관한 연구를 지원하기 위해.

제안 방법

• 연구는 인간이 작성한 글에서 기계가 생성한 글로 전환되는 문장을 단 한 문장씩 제시하는 게임화된 플랫폼(RoFT)을 사용한다.
• 참가자들은 전환점의 위치를 예측하고, 선택한 근거를 제시하며, 진짜 경계에 가까울수록 높은 점수를 받는다.
• 데이터셋에는 뉴스, 스토리, 연설 등 다양한 장르와 모델 설정에서 온 21,000개 이상의 레이블이 포함되어 있다.
• 통계적 분석을 통해 모델 크기, 디코딩 전략, 파인튜닝, 프롬프트 장르에 따른 탐지 정확도를 비교한다.
• 오류 레이블을 수집하고 분석하여, 명사어 빈도, 문장 길이 등 언어적 특징이 탐지 결정과 어떤 관련이 있는지 분석한다.
• 랜덤으로 문장을 제시하고 보상 구조를 설정한 제어된 실험 설계를 통해 학습 및 성능 추세를 평가한다.

실험 결과

연구 질문

• RQ1 사람들은 혼합 장르의 문장에서 인간이 작성한 글과 기계가 생성한 글의 경계를 신뢰성 있게 탐지할 수 있는가? 개인 간 성능 차이는 어떻게 나타나는가?
• RQ2 모델 크기, 디코딩 전략, 파인튜닝과 같은 모델 전용 요소가 인간의 탐지 정확도에 어떤 영향을 미치는가?
• RQ3 명사어, 품사 분포, 문장 길이 등과 같은 문장 수준의 특징 중 인간의 탐지 결정과 가장 강하게 관련된 것은 무엇인가?
• RQ4 보상과 경험의 유무가 텍스트 생성 경계 탐지 성능 향상에 얼마나 기여하는가?
• RQ5 뉴스, 스토리, 연설 등 다양한 텍스트 장르는 모델이 범하는 오류 유형과 전환점 탐지 가능성에 어떤 영향을 미치는가?

주요 결과

• 레이블러들은 탐지 능력에 있어 상당한 변동성을 보이며, 시간이 지남에 따라 보상 제도가 있을 경우 성능 향상이 뚜렷하게 나타난다.
• 더 큰 언어 모델과 최적화된 디코딩 전략은 품질이 높은 생성 결과를 만들어내며, 이는 인간이 탐지하기 어려운 수준이 된다.
• 문장 내 신규 명사어의 수가 탐지와 강하게 관련되어 있다. 뉴스와 연설에서는 생성된 문장이 인간이 작성한 문장보다 이러한 명사어가 적지만, 스토리에서는 반대로 인간이 작성한 문장이 더 적은 편이다.
• 문장 길이와 품사 분포 역시 실제 글과 생성된 글 간에 의미 있는 차이를 보이며, 이 특징들은 레이블러들이 결정 근거로 자주 사용한다.
• 21,000개 이상의 인간 레이블과 오류 분류가 포함된 RoFT 데이터셋은 향후 생성 텍스트 탐지 및 LLM 생성 텍스트 평가 연구를 지원하기 위해 공개된다.
• 레이블러들은 스토리와 연설에서는 더 많은 명사어를 포함한 문장을 더 자주 선택하지만, 뉴스에서는 그렇지 않아, 장르에 따라 탐지 패턴이 달라지는 것으로 나타났다.