[논문 리뷰] Assessing the Effectiveness of GPT-3 in Detecting False Political Statements: A Case Study on the LIAR Dataset

Mars Gokturk Buchholz|arXiv (Cornell University)|2023. 06. 14.

Misinformation and Its Impacts인용 수 4

한 줄 요약

이 연구는 LIAR 데이터셋을 사용하여 GPT-3가 가짜 정치적 진술을 탐지하는 데 얼마나 효과적인지 평가한다. 미세조정된 GPT-3는 메타데이터나 언어적 특징을 사용하지 않더라도 이전의 최고 성능 모델을 능가하는 높은 정확도를 달성한다. 제로샷 프롬프팅에서는 GPT-3가 미세조정되지 않은 상태에서도 최고 수준의 성능에 근접하며, 예측에 대한 해석 가능한 증거를 제공함으로써 자동 사실 확인의 투명성을 향상시킨다.

ABSTRACT

The detection of political fake statements is crucial for maintaining information integrity and preventing the spread of misinformation in society. Historically, state-of-the-art machine learning models employed various methods for detecting deceptive statements. These methods include the use of metadata (W. Wang et al., 2018), n-grams analysis (Singh et al., 2021), and linguistic (Wu et al., 2022) and stylometric (Islam et al., 2020) features. Recent advancements in large language models, such as GPT-3 (Brown et al., 2020) have achieved state-of-the-art performance on a wide range of tasks. In this study, we conducted experiments with GPT-3 on the LIAR dataset (W. Wang et al., 2018) and achieved higher accuracy than state-of-the-art models without using any additional meta or linguistic features. Additionally, we experimented with zero-shot learning using a carefully designed prompt and achieved near state-of-the-art performance. An advantage of this approach is that the model provided evidence for its decision, which adds transparency to the model's decision-making and offers a chance for users to verify the validity of the evidence provided.

연구 동기 및 목표

• 외부 특징을 사용하지 않고도 GPT-3가 기존의 기계 학습 모델보다 정치적 진술의 진실성을 더 잘 분류할 수 있는지 평가하는 것.
• 정확한 정의와 사실적 증거를 요구하는 철저히 설계된 프롬프트를 사용하여 GPT-3.5-turbo의 제로샷 프롬프팅 성능을 평가하는 것.
• 각 레이블에 대해 제공하는 증거를 분석하여 GPT-3의 예측이 투명하고 해석 가능한 정도를 검토하는 것.
• 학습 데이터 종료 시점으로 인한 제약으로 인해 GPT-3가 사실 확인 작업에서 겪는 한계를 조사하고, 검색 기반 증강 생성을 통한 향상 가능성을 탐색하는 것.

제안 방법

• 메타데이터나 언어적 특징 없이, GPT-3를 LIAR 데이터셋의 문장 텍스트만을 사용하여 미세조정한다.
• GPT-3.5-turbo를 위한 제로샷 프롬프트를 설계하였으며, Politifact의 Truth-O-Meter 레이블 정의와 신뢰할 수 있는 자료에서의 사실적 증거 요구 조건을 포함한다.
• OpenAI Chat Completions API를 사용하여 온도=0.0로 설정하여 단일 토큰 예측을 생성하고 평가를 위해 레이블을 추출한다.
• LIAR 데이터셋에서 테스트 정확도를 사용하여 기준 모델인 CNN 및 하이브리드 모델과의 성능을 비교한다.
• 모델이 생성한 증거를 수집하고 분석하여 예측을 뒷받침하는 데 있어 관련성과 신뢰성의 정도를 평가한다.
• 마크로 평균 정확도를 사용하여 성능을 평가하고, 모델 예측과 참값 레이블 간의 불일치를 분석한다.

실험 결과

연구 질문

• RQ1 GPT-3는 메타데이터나 언어적 특징을 사용하지 않고도 LIAR 데이터셋에서 최고 성능 모델을 뛰어넘는 분류 정확도를 달성할 수 있는가?
• RQ2 미세조정 없이 GPT-3의 제로샷 프롬프팅이 위성 정치적 진술 탐지에 얼마나 효과적인가?
• RQ3 GPT-3는 자신의 진리값 예측에 대해 얼마나 해석 가능하고 검증 가능한 증거를 제공하는가?
• RQ4 학습 데이터 종료 시점으로 인한 제약으로 인해 GPT-3의 사실 확인 작업 수행에 어떤 한계가 있으며, 검색 기반 증강 생성은 성능 향상에 어떻게 기여할 수 있는가?
• RQ5 동일한 증거를 바탕으로 하더라도 GPT-3의 예측과 전문가의 사실 확인 레이블 간에 불일치가 발생하는 이유는 무엇인가?

주요 결과

• 미세조정된 GPT-3는 테스트 정확도 0.295를 기록하여, 기준 모델 중 가장 우수한 CNN-하이브리드 모델(0.274)을 능가했다.
• 제로샷 GPT-3 모델은 미세조정되지 않은 상태에서도 테스트 정확도 0.266를 기록하여 기준 모델과 경쟁 가능한 성능을 보였다.
• GPT-3는 자신의 예측에 대해 사실 기반 증거를 제공하여 투명성을 높였으며, 사용자가 각 레이블의 추론 근거를 검증할 수 있도록 했다.
• GPT-3와 Politifact 간의 불일치 사례로는 버니 샌더스가 브래디 법안에 투표한 것을 '거짓'으로 분류한 것이 있었으며, 이는 Politifact의 평가인 '대부분 참'과 다름을 보여주었다. 이는 해석적 차이를 반영한다.
• 모델의 행동은 레이블을 단순히 암기하고 있는 것이 아니라 사실 기반의 추론을 수행하고 있음을 시사하지만, 때로는 미묘한 진술을 잘못 해석하는 경우가 있다.
• 향후 검색 기반 증강 생성을 통해 최근 사건과 같은, GPT-3의 학습 데이터 종료 시점 이후의 정보를 보완함으로써 성능 향상이 가능할 수 있다.