[논문 리뷰] Overview of AuTexTification at IberLEF 2023: Detection and Attribution of Machine-Generated Text in Multiple Domains

Areg Mikael Sarvazyan, José Ángel González외 4명|arXiv (Cornell University)|2023. 09. 20.

Text Readability and Simplification인용 수 7

한 줄 요약

이 논문은 IberLEF 2023에서 개최된 AuTexTification 공유 과제를 제시하며, 영어 및 스페인어에서 다섯 분야에 걸쳐 기계 생성 텍스트(MGT)를 탐지하고 소유주를 할당하는 데 초점을 맞추고 있다. 다섯 분야의 인간 및 LLM 생성 텍스트로 구성된 다중 도메인 데이터셋을 도입하여, 교차 도메인 일반화와 여섯 모델로의 세밀한 할당을 평가한다. 주요 기여는 실제적이고 다양한 조건에서 MGT 탐지 및 할당을 벤치마킹하는 데 있다.

ABSTRACT

This paper presents the overview of the AuTexTification shared task as part of the IberLEF 2023 Workshop in Iberian Languages Evaluation Forum, within the framework of the SEPLN 2023 conference. AuTexTification consists of two subtasks: for Subtask 1, participants had to determine whether a text is human-authored or has been generated by a large language model. For Subtask 2, participants had to attribute a machine-generated text to one of six different text generation models. Our AuTexTification 2023 dataset contains more than 160.000 texts across two languages (English and Spanish) and five domains (tweets, reviews, news, legal, and how-to articles). A total of 114 teams signed up to participate, of which 36 sent 175 runs, and 20 of them sent their working notes. In this overview, we present the AuTexTification dataset and task, the submitted participating systems, and the results.

연구 동기 및 목표

• 다양한 도메인, 글쓰기 스타일, 언어 간에 기계 생성 텍스트(MGT) 탐지기의 일반화 능력을 평가하기 위해.
• 여섯 후보 모델 중 특정 LLM에 MGT를 세밀하게 할당하는 것이 가능한지 조사하기 위해.
• 연구를 위해 공개 가능한 다중 도메인, 다국어의 인간 및 LLM 생성 텍스트 데이터셋을 제공하기 위해.
• MGT의 포렌식 분석을 가능하게 하고 콘텐츠 모니터링 및 규제 준수를 지원함으로써 책임감 있는 AI를 촉진하기 위해.
• 도메인 내 설정을 초월한 실제 세계의 구현 시나리오를 반영하는 MGT 탐지 및 할당에 대한 벤치마크를 수립하기 위해.

제안 방법

• 과제는 이진 분류(인간 대 MGT)와 다중 클래스 할당(여섯 LLM 중 어느 모델이 텍스트를 생성했는지 식별)의 두 하위 과제로 구성된다.
• 다중 도메인 데이터셋은 기존 공개 자료에서 자동으로 수집되었으며, 트윗, 리뷰, How-to 기사, 뉴스, 법적 문서 등 영어 및 스페인어로 구성되어 있다.
• MGT는 세 종류의 BLOOM 모델(1B7, 3B, 7B1)과 세 종류의 GPT-3 모델을 사용하여 생성되었으며, 모델 규모와 아키텍처의 다양성을 확보하였다.
• 학습 데이터는 세 도메인을 포함하지만, 테스트 데이터는 두 개의 미사용 도메인을 포함하여 하위 과제 1의 교차 도메인 일반화 성능을 평가한다.
• 하위 과제 2는 학습 및 테스트 모두에 다섯 도메인을 사용하여 세밀한 할당 성능을 평가한다.
• 평가 프레임워크는 제로샷 및 피셔샷 일반화를 지원하며, 도메인 및 모델 간 정확도, F1, 매크로-F1 등의 지표를 포함한다.

실험 결과

연구 질문

• RQ1 MGT 탐지기가 일부 도메인에서 학습된 후, 영어 및 스페인어 모두에서 미사용 도메인으로 효과적으로 일반화될 수 있는가?
• RQ2 다양한 도메인 환경에서 여섯 개의 다른 LLM에서 생성된 MGT를 구분할 수 있는 모델의 능력은 어떠한가?
• RQ3 도메인, 언어, 모델 규모가 MGT의 탐지 가능성과 할당 가능성에 어떤 영향을 미치는가?
• RQ4 비공식적(예: 트윗)과 공식적(예: 법적 문서) 글쓰기 스타일 간에 MGT 탐지기 성능은 어떻게 달라지는가?
• RQ5 모델 간 아키텍처나 규모가 유사한 경우, 세밀한 할당이 어느 정도 가능할 수 있는가?

주요 결과

• AuTexTification 공유 과제는 다섯 가지 다양한 도메인에서 MGT 탐지 및 할당을 성공적으로 평가하였으며, 교차 도메인 일반화에 있어 심각한 과제를 드러냈다.
• 미사용 도메인에서 탐지기 성능이 낮게 나타나, 실제 세계의 MGT 탐지 시스템에서 도메인 이동이 여전히 중요한 장벽임을 시사한다.
• 특정 LLM에 대한 세밀한 할당은 가능했으며, 아키텍처나 규모가 뚜렷한 특징을 가진 모델일수록 더 높은 정확도를 보였다.
• 도메인 간 성능 차이가 뚜렷하게 나타났으며, 트윗과 같은 비공식적 도메인보다 법적 문서나 뉴스 텍스트와 같은 공식적 도메인에서 더 높은 탐지 정확도를 기록했다.
• 데이터셋은 언어학적 분석에 유용했으며, 인간 생성 텍스트와 기계 생성 텍스트 간의 스타일, 문법, 어휘 패턴의 체계적 차이를 드러냈다.
• 결과는 새로운 도메인과 글쓰기 스타일에 재학습 없이도 적응할 수 있는 강력하고 일반화 가능한 탐지 모델의 필요성을 강조한다.