[논문 리뷰] AI model GPT-3 (dis)informs us better than humans

Giovanni Spitale, Nikola Biller‐Andorno외 1명|Zurich Open Repository and Archive (University of Zurich)|2023. 01. 23.

Misinformation and Its Impacts참고 문헌 15인용 수 10

한 줄 요약

한 연구는 GPT-3가 정확하고 이해하기 쉬운 정보를 생성할 수 있지만 더 강력한 오정보도 만들어낼 수 있으며 인간은 종종 GPT-3의 트윗과 인간의 트윗을 구분하지 못한다.

ABSTRACT

Artificial intelligence is changing the way we create and evaluate information, and this is happening during an infodemic, which has been having dramatic effects on global health. In this paper we evaluate whether recruited individuals can distinguish disinformation from accurate information, structured in the form of tweets, and determine whether a tweet is organic or synthetic, i.e., whether it has been written by a Twitter user or by the AI model GPT-3. Our results show that GPT-3 is a double-edge sword, which, in comparison with humans, can produce accurate information that is easier to understand, but can also produce more compelling disinformation. We also show that humans cannot distinguish tweets generated by GPT-3 from tweets written by human users. Starting from our results, we reflect on the dangers of AI for disinformation, and on how we can improve information campaigns to benefit global health.

연구 동기 및 목표

• 모집된 개인이 트윗 형식의 허위정보와 정확한 정보를 구분할 수 있는지 평가한다.
• 트윗이 유기적(인간이 작성)인지 합성(GPT-3 작성)인지를 평가한다.
• GPT-3가 인간과 비교해 정확하고 이해하기 쉬운 정보를 생산하는 능력을 탐구한다.
• AI 주도 허위정보의 함의와 건강 정보 캠페인을 개선하기 위한 전략을 논의한다.

제안 방법

• 참가자에게 허위정보와 정확한 정보로 구조화된 트윗을 제시한다.
• GPT-3가 생성한 정보와 인간이 생성한 정보의 정확성과 이해가능성을 비교한다.
• 참가자에게 트윗을 유기적(인간 작성)인지 합성( GPT-3 작성)인지 분류하도록 요청한다.
• 참가자들이 GPT-3 콘텐츠를 인간 콘텐츠와 구분하는 능력을 분석한다.
• 저자들이 참고한 데이터 세트 및 소프트웨어 자원을 활용한다.

실험 결과

연구 질문

• RQ1 참가자는 트윗 형식의 허위정보와 정확한 정보를 신뢰할 수 있게 구분할 수 있는가?
• RQ2 참가자는 GPT-3가 작성한 트윗과 인간이 작성한 트윗(유기적 vs 합성)을 구분할 수 있는가?
• RQ3 GPT-3의 정보 품질 및 이해가능성은 인간이 생성한 콘텐츠와 어떻게 비교되는가?
• RQ4 건강 정보 캠페인에 대한 AI 생성 콘텐츠의 함의는 무엇인가?

주요 결과

• GPT-3는 일부 인간이 생성한 콘텐츠보다 더 이해하기 쉬운 정확한 정보를 생성할 수 있다.
• GPT-3는 또한 인간보다 더 설득력 있는 허위정보를 생성할 수 있다.
• 인간은 GPT-3가 생성한 트윗과 인간 사용자가 작성한 트윗을 구분하는 데 어려움을 겪는다.
• 결과는 AI 주도 허위정보에 대한 우려를 제기하며 글로벌 건강 정보를 위한 캠페인 개선의 필요성을 강조한다.
• 본 논문은 허위정보를 위한 AI의 위험성과 이를 완화하기 위한 잠재적 전략을 논의한다.