[논문 리뷰] HC3 Plus: A Semantic-Invariant Human ChatGPT Comparison Corpus

Zhenpeng Su, Xing Wu외 3명|arXiv (Cornell University)|2023. 09. 06.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 요약, 번역, 다듬힘과 같은 의미 유지 작업을 포함하는 대규모이며 작업 다각도인 HC3 Plus를 소개한다. 이러한 작업에서는 ChatGPT가 생성한 텍스트를 식별하는 것이 훨씬 더 어렵다. 저자들은 HC3 Plus에서 T k -instruct 기반 모델을 미세조정하여 InstructDGGC를 개발하였으며, 영어 데이터에서는 RoBERTa 기반 베이스라인보다 1.8% 높고, 중국어 데이터에서는 0.58% 높은 성능을 기록하여 의미 유지 콘텐츠에 대해 더 뛰어난 강건성을 입증하였다.

ABSTRACT

ChatGPT has garnered significant interest due to its impressive performance; however, there is growing concern about its potential risks, particularly in the detection of AI-generated content (AIGC), which is often challenging for untrained individuals to identify. Current datasets used for detecting ChatGPT-generated text primarily focus on question-answering tasks, often overlooking tasks with semantic-invariant properties, such as summarization, translation, and paraphrasing. In this paper, we demonstrate that detecting model-generated text in semantic-invariant tasks is more challenging. To address this gap, we introduce a more extensive and comprehensive dataset that incorporates a wider range of tasks than previous work, including those with semantic-invariant properties. In addition, instruction fine-tuning has demonstrated superior performance across various tasks. In this paper, we explore the use of instruction fine-tuning models for detecting text generated by ChatGPT.

연구 동기 및 목표

• 기존 데이터셋이 주로 질문-답변 작업에 집중하는 데 반해 요약, 번역, 다듬힘과 같은 의미 유지 작업을 간과하고 있다는 격차를 해결하기 위해.
• 의미 유지 작업에서 LLM이 생성한 텍스트를 식별하는 데의 어려움을 조사하기 위해, 입력의 의미를 정확히 유지해야 하는 작업에서.
• 다양하고 의미적으로 제약이 있는 작업에 일반화할 수 있는 더 강건한 탐지 시스템을 개발하기 위해.
• HC3 벤치마크를 영어 및 중국어로 다수의 의미 유지 작업을 다루는 더 크고 종합적인 데이터셋으로 확장하기 위해.
• 다양한 NLP 작업에서 AIGC 탐지에 대해 지시 미세조정 모델의 제로샷 또는 피처샷 일반화 능력을 평가하기 위해.

제안 방법

• 저자들은 요약(CNN/DailyMail), 번역(WMT’19), 다듬힘(HC3-Paraphrase) 작업을 위해 인간이 애너테이션한 데이터셋을 수집하고, 동일한 입력을 사용해 ChatGPT로 모델 출력을 생성한다.
• 이들 신규 의미 유지 작업 데이터와 원본 HC3 데이터셋을 조합하여 HC3 Plus를 구성함으로써, 탐지에 대한 더 큰 다중 작업 벤치마크를 구축한다.
• 저자들은 영어 757개 작업에서 T k -instruct-base 모델을 미세조정하고, 이후 Super-NaturalInstructions(24개 중국어 작업 포함)에서 다시 미세조정한 후, 영어 및 중국어 모두에서 HC3 Plus에서 최종 미세조정한다.
• 두 개의 탐지기 모델을 훈련한다: RoBERTa-HC3 Plus(단지 HC3 Plus에서 훈련된)와 InstructDGGC(생성 탐지기로, HC3 Plus에서 지시 미세조정을 통해 훈련된).
• 테스트 세트에서 정밀도, 재현율, 정확도를 사용해 탐지 성능을 평가하며, 질문-답변, 요약, 번역, 다듬힘 작업 간 결과를 비교한다.
• 기존 탐지기(예: chatgpt-detector-RoBERTa)를 베이스라인으로 사용하여 의미 유지 출력을 식별하는 난이도를 검증한다.

Figure 1: Examples of QA and summarization, the same color indicates fragments that appear in both source and target sentences.

실험 결과

연구 질문

• RQ1 의미 유지 작업인 요약, 번역, 다듬힘에 대해 기존 AIGC 탐지기가 질문-답변 작업에 비해 성능이 얼마나 떨어지는가?
• RQ2 HC3 Plus와 같이 다양한 다중 작업 데이터셋에서 탐지기를 훈련하면, 다양한 의미 유지 NLP 작업 간 일반화 능력이 얼마나 향상되는가?
• RQ3 다양한 작업에 걸쳐 지시 미세조정을 수행하면, LLM이 생성한 텍스트를 식별하는 데 있어 탐지 모델의 강건성과 일반화 능력이 향상되는가?
• RQ4 RoBERTa-HC3 Plus는 더 많은 훈련 데이터를 사용하고도 번역 데이터에서 요약이나 다듬힘보다 성능이 열 劣한 이유는 무엇인가?
• RQ5 생성 탐지 모델(InstructDGGC)의 성능이 의미 유지 작업에서 분류 기반 RoBERTa 탐지기보다 어떻게 다른가?

주요 결과

• 요약 및 다듬힘과 같은 의미 유지 작업에서의 탐지 성능은 질문-답변 작업보다 크게 열 劣하며, RoBERTa-HC3 Plus는 인간이 작성한 텍스트에 대해 높은 재현율을 보이지만, ChatGPT가 생성한 텍스트에 대해서는 낮은 재현율을 보인다.
• RoBERTa-HC3 Plus 탐지기는 의미 유지 작업에서 RoBERTa-HC3보다 성능을 향상시켰지만, 여전히 번역 데이터에서 가장 어려움을 겪으며, 출력이 기준 문장과 매우 유사하기 때문이다.
• InstructDGGC는 영어에서 RoBERTa-HC3 Plus보다 1.8% 높고, 중국어에서 0.58% 높은 전반적인 성능을 기록하여, 다양한 작업에서 지시 미세조정이 탐지 일반화에 유리함을 입증한다.
• RoBERTa-HC3와 RoBERTa-HC3 Plus 간의 성능 격차는 작업별 특화 탐지기가 혼합된 데이터에서 훈련된 다중 작업 탐지기보다 더 잘 일반화된다는 것을 시사한다.
• 중국어 번역 데이터에서 탐지기 성능이 열 劣한 것은 지시 미세조정을 위한 중국어 작업 데이터가 여전히 한계에 있다는 것을 시사하며, 이는 고급 지침 데이터가 부족하기 때문일 것이다.
• 결과는 의미 유지 작업이 AIGC 탐지에 더 큰 도전 과제를 안긴다는 가설을 검증하며, 모델 출력이 인간 기준과 유사해 식별이 더 어려워지기 때문이다.

Figure 2: Examples of translation, summary generation, and paraphrasing in HC3-SI