[논문 리뷰] FakeGPT: Fake News Generation, Explanation and Detection of Large Language Models

Yue Huang, Lichao Sun|arXiv (Cornell University)|2023. 10. 08.

Misinformation and Its Impacts인용 수 11

한 줄 요약

본 논문은 ChatGPT의 가짜 뉴스 생성, 설명, 탐지 능력을 조사하고 탐지 성능을 향상시키기 위한 이유 인식 프롬프트(reason-aware prompting) 접근법을 제시한다.

ABSTRACT

The rampant spread of fake news has adversely affected society, resulting in extensive research on curbing its spread. As a notable milestone in large language models (LLMs), ChatGPT has gained significant attention due to its exceptional natural language processing capabilities. In this study, we present a thorough exploration of ChatGPT's proficiency in generating, explaining, and detecting fake news as follows. Generation -- We employ four prompt methods to generate fake news samples and prove the high quality of these samples through both self-assessment and human evaluation. Explanation -- We obtain nine features to characterize fake news based on ChatGPT's explanations and analyze the distribution of these factors across multiple public datasets. Detection -- We examine ChatGPT's capacity to identify fake news. We explore its detection consistency and then propose a reason-aware prompt method to improve its performance. Although our experiments demonstrate that ChatGPT shows commendable performance in detecting fake news, there is still room for its improvement. Consequently, we further probe into the potential extra information that could bolster its effectiveness in detecting fake news.

연구 동기 및 목표

• 다중 프롬프팅 전략을 사용한 자가 평가와 인간 평가를 모두 포함하여 ChatGPT의 가짜 뉴스 생성 능력을 평가한다.
• 가짜 뉴스를 속이는 요인을 설명하는 특징들을 식별하고 분류한다.
• ChatGPT의 가짜 뉴스 탐지 성능을 평가하고 이를 개선하기 위한 프롬프트 기반 기술을 개발한다.
• 탐지 효과를 더욱 향상시킬 수 있는 추가 정보(예: 맥락, 지식 등)를 탐색한다.

제안 방법

• 가짜 뉴스를 생성하기 위해 네 가지 프롬프트 방법을 실험하고 샘플 품질에 대한 자가 평가 및 인간 평가를 수행한다.
• ChatGPT에 가짜 뉴스를 설명하도록 프롬프트하고 설명에서 아홉 가지 정의적 특징을 추출한다.
• ChatGPT의 가짜 뉴스 탐지 정확도를 향상시키기 위해 이유 인식 프롬프트(reason-aware prompting) 전략을 제안한다.
• 맥락 등의 추가 정보 및 다양한 데이터 세트를 포함한 실험을 통해 탐지 일관성과 추가 정보의 영향을 평가한다.
• 평가에는 이진(가짜/진짜) 및 삼진(가짜/진짜/불확실) 설정이 포함되며 특화된 지표를 사용한다.

Figure 1: Multiple prompts for fake news generation through ChatGPT. The words in red mean details of generated fake news.

실험 결과

연구 질문

• RQ1 다양한 프롬프팅 전략 간에 ChatGPT가 고품질의 가짜 뉴스 샘플을 생성할 수 있는가?
• RQ2 ChatGPT의 설명에서 가짜 뉴스의 핵심을 잘 나타내는 아홉 가지 특징은 무엇인가?
• RQ3 이유 인식 프롬프트가 데이터 세트 간 ChatGPT의 가짜 뉴스 탐지 능력을 개선하는가?
• RQ4 맥락, 지식 등 추가 정보가 ChatGPT를 활용한 가짜 뉴스 탐지에 도움을 주는가?

주요 결과

• ChatGPT는 자가 평가와 인간 평가 모두에 따르면 실제 보도와 견줄 만큼 고품질의 가짜 뉴스 샘플을 생성할 수 있다.
• 아홉 개의 데이터 세트에 걸쳐 ChatGPT의 설명에서 가짜 뉴스를 특징짓는 아홉 가지 특징이 확인되었다.
• 대부분의 데이터 세트에서 이유 인식 프롬프팅이 가짜 뉴스 탐지 성능을 향상시키며, 특히 이진 분류에서 큰 향상을 보였다.
• 맥락 및 코멘트와 같은 추가 정보는 일반적으로 탐지를 향상시키지만 데이터 세트 및 작업 설정에 따라 효과가 다르게 나타난다.
• ChatGPT는 일부 데이터 세트에서 강력한 탐지 성능을 보이지만 샘플과 데이터 세트 전반에 걸쳐 불완전하고 일관성이 떨어진다.
• 삼진 설정에서 최대 보고 정확도는 82.6%에 이르며, 이유 인식 프롬프트로부터의 뚜렷한 개선이 관찰된다.

Figure 2: Four kinds of the prompt template.