[논문 리뷰] In Generative AI we Trust: Can Chatbots Effectively Verify Political Information?

Elizaveta Kuznetsova, Mykola Makhortykh외 4명|arXiv (Cornell University)|2023. 12. 20.

Misinformation and Its Impacts인용 수 4

한 줄 요약

이 연구는 코로나19, 러시아 우크라이나 침공, 홀로코스트, 기후 변화, 레즈비언·Lesbian·남성 간 성소수자·성소수자·퀴어(LGBTQ+) 문제와 같은 다섯 가지 민감한 주제에 대해 영어, 러시아어, 우크라이나어로 번역된 다국어 프롬프트를 사용하여 ChatGPT와 Bing Chat(현재 마이크로소프트 코파일럿)이 정치적 진술을 확인할 수 있는 능력을 평가한다. ChatGPT는 미세조정 없이도 평균 72%의 정확도를 기록하며, Bing Chat의 67%를 능가하지만, 언어, 주제, 출처 기재 방식에 따라 성능에 큰 차이가 있음을 발견했다.

ABSTRACT

This article presents a comparative analysis of the ability of two large language model (LLM)-based chatbots, ChatGPT and Bing Chat, recently rebranded to Microsoft Copilot, to detect veracity of political information. We use AI auditing methodology to investigate how chatbots evaluate true, false, and borderline statements on five topics: COVID-19, Russian aggression against Ukraine, the Holocaust, climate change, and LGBTQ+ related debates. We compare how the chatbots perform in high- and low-resource languages by using prompts in English, Russian, and Ukrainian. Furthermore, we explore the ability of chatbots to evaluate statements according to political communication concepts of disinformation, misinformation, and conspiracy theory, using definition-oriented prompts. We also systematically test how such evaluations are influenced by source bias which we model by attributing specific claims to various political and social actors. The results show high performance of ChatGPT for the baseline veracity evaluation task, with 72 percent of the cases evaluated correctly on average across languages without pre-training. Bing Chat performed worse with a 67 percent accuracy. We observe significant disparities in how chatbots evaluate prompts in high- and low-resource languages and how they adapt their evaluations to political communication concepts with ChatGPT providing more nuanced outputs than Bing Chat. Finally, we find that for some veracity detection-related tasks, the performance of chatbots varied depending on the topic of the statement or the source to which it is attributed. These findings highlight the potential of LLM-based chatbots in tackling different forms of false information in online environments, but also points to the substantial variation in terms of how such potential is realized due to specific factors, such as language of the prompt or the topic.

연구 동기 및 목표

• 다양하고 높은 사전적 영향을 미치는 주제에서 대규모 언어 모델(Large Language Model, LLM) 기반 챗봇이 정치적 진술의 진실성 여부를 판단할 수 있는 능력을 평가하기 위해.
• 영어, 러시아어, 우크라이나어를 포함한 고자원어 및 저자원어 간 성능 격차를 조사하기 위해.
• 챗봇이 '허위정보', '오해 정보', '음모론'과 같은 정치적 커뮤니케이션 개념을 어떻게 이해하고 적용하는지 분석하기 위해.
• 특정 정치적 또는 사회적 주체(예: 정부, NGO, 극단주의 단체)에 소속된 것으로 기재된 진술이 챗봇의 진실성 평가에 어떤 영향을 미치는지 분석하기 위해.
• 다양한 프롬프트와 맥락에서 LLM 기반 사실 확인에 나타나는 체계적 편향과 일관성 없는 점을 규명하기 위해.

제안 방법

• 오픈AI의 ChatGPT와 마이크로소프트의 Bing Chat(재브랜딩된 코파일럿)이라는 두 가지 유명한 LLM 기반 챗봇을 대상으로 비교 분석을 수행하였다.
• AI 감사 방법론을 활용하여 총 150개의 진술에 대해 다섯 가지 정치적 주제(코로나19, 러시아의 우크라이나 침공, 홀로코스트, 기후 변화, 레즈비언·Lesbian·남성 간 성소수자·성소수자·퀴어(LGBTQ+) 논의)에서 챗봇의 반응을 체계적으로 테스트하였다.
• 정의 중심의 프롬프트를 사용하여 챗봇이 진술을 '허위정보', '오해 정보', 또는 '음모론'으로 올바르게 분류할 수 있는지 평가하였다.
• 고자원어(영어), 저자원어(러시아어, 우크라이나어) 세 언어에서 성능을 테스트하여 언어적 편향을 평가하였다.
• 동일한 진술을 다양한 정치적 또는 사회적 주체(예: 정부, 비정부기구, 극단주의 단체)에 기재함으로써 출처 편향을 모델링하여 반응의 일관성 여부를 평가하였다.
• 기준값 레이블을 사용하여 모든 작업의 정확도를 정량화하고, 질적 출력을 분석하여 세부 사항과 일관성을 평가하였다.

실험 결과

연구 질문

• RQ1 ChatGPT와 Bing Chat는 다양한 민감도가 높은 주제에서 정치적 진술의 진실성 여부를 얼마나 정확하게 평가할 수 있는가?
• RQ2 동일한 평가 작업에서 고자원어(영어)와 저자원어(러시아어, 우크라이나어) 간 성능에 어떤 차이가 있는가?
• RQ3 챗봇은 '허위정보', '오해 정보', '음모론'과 같은 정치적 커뮤니케이션 현상을 얼마나 정확하게 식별하고 분류할 수 있는가?
• RQ4 진술을 다양한 정치적 또는 사회적 주체에 기재함으로써 챗봇의 진술 진실성 평가에 어떤 영향을 미치는가?
• RQ5 LLM 기반 사실 확인에서 주제, 언어, 출처 기재 방식에 따라 성능에 나타나는 체계적 변동 요소는 무엇인가?

주요 결과

• ChatGPT는 사전 훈련 없이도 모든 언어와 주제에서 평균 72%의 정확도로 진실성 탐지 성능을 기록하며, Bing Chat의 67%를 능가하였다.
• Bing Chat는 동일한 평가 작업에서 평균 정확도가 67%로 낮은 성능을 보였다.
• 고자원어와 저자원어 간 성능 격차가 뚜렷하게 드러났으며, 영어에 비해 러시아어와 우크라이나어에서 정확도가 뚜렷하게 떨어졌다.
• ChatGPT는 '허위정보'나 '음모론'과 같은 정치적 커뮤니케이션 개념을 분류할 때 더 세밀하고 맥락에 적합한 응답을 제공하였다.
• 주제에 따라 성능이 크게 달라졌으며, 기후 변화와 같은 사실 중심 주제에서는 높은 정확도를 기록했지만, 홀로코스트나 레즈비언·Lesbian·남성 간 성소수자·성소수자·퀴어(LGBTQ+) 논의와 같이 감정적 또는 이념적으로 민감한 주제에서는 정확도가 낮았다.
• 출처 기재가 평가에 측정 가능한 영향을 미쳤으며, 챗봇은 진술의 사실적 내용이 그대로일지라도 출처의 신뢰성이나 이념적 성향에 민감하게 반응하는 경향을 보였다.