[논문 리뷰] Correcting misinformation on social media with a large language model

Xinyi Zhou, Ashish Sharma외 2명|arXiv (Cornell University)|2024. 03. 17.

Misinformation and Its Impacts인용 수 4

한 줄 요약

이 논문은 실시간 검색과 다중모달 이해 기능을 보완한 대규모 언어 모델(Muse)을 제안한다. 이 모델은 사회적 미디어에서 퍼진 잘못된 정보를 정정하는 데 목적이 있다. 최신이고 신뢰할 수 있는 자료에 접근하고 그 신뢰성을 평가함으로써 Muse는 정확하고 근거가 확실한 정정을 생성하며, 전문가 평가에서 GPT-4보다 37% 높고 평범한 사람보다 29% 높은 성능을 보였다. 이는 사실성과 관련성의 13가지 차원에서 평가된 결과이다.

ABSTRACT

Real-world information, often multimodal, can be misinformed or potentially misleading due to factual errors, outdated claims, missing context, misinterpretation, and more. Such "misinformation" is understudied, challenging to address, and harms many social domains -- particularly on social media, where it can spread rapidly. Manual correction that identifies and explains its (in)accuracies is widely accepted but difficult to scale. While large language models (LLMs) can generate human-like language that could accelerate misinformation correction, they struggle with outdated information, hallucinations, and limited multimodal capabilities. We propose MUSE, an LLM augmented with vision-language modeling and web retrieval over relevant, credible sources to generate responses that determine whether and which part(s) of the given content can be misinformed or potentially misleading, and to explain why with grounded references. We further define a comprehensive set of rubrics to measure response quality, ranging from the accuracy of identifications and factuality of explanations to the relevance and credibility of references. Results show that MUSE consistently produces high-quality outputs across diverse social media content (e.g., modalities, domains, political leanings), including content that has not previously been fact-checked online. Overall, MUSE outperforms GPT-4 by 37% and even high-quality responses from social media users by 29%. Our work provides a general methodological and evaluative framework for correcting misinformation at scale.

연구 동기 및 목표

• 사회적 미디어에서 잘못된 정보를 정정하는 데 있어 인간의 사실 확인이 실시간 유통 콘텐츠에는 너무 느리다는 가로막힘 문제를 해결하기 위해.
• 기존의 대규모 언어 모델(LLM)이 잘못된 정보 정정에서 겪는 주요 한계, 즉 최신 지식 부족, 환상적인 참조, 시각 콘텐츠 처리 불가능성 문제를 해결하기 위해.
• 신뢰할 수 있고 최신의 증거를 검색하고 평가하며 사실에 기반한 정확하고 근거가 확실한 정정을 생성하는 시스템을 개발하기 위해.
• 전문가와 평범한 사람의 정정 결과와 비교하여, 종합적인 13차원 평가 프레임워크를 사용해 시스템의 성능을 평가하기 위해.

제안 방법

• Muse는 잘못된 정보가 발표된 지 30분 이내에 외부 소스에서 최신 웹 콘텐츠를 검색하는 검색-증강 생성 파이프라인을 통합한다.
• 신뢰성, 사실성, 최신성 기반으로 소스를 필터링하고 순위를 매기는 신뢰성 평가 모듈을 적용하여 환상적인 참조 위험을 줄인다.
• 시각 인식 인코더를 사용해 이미지와 동영상을 분석함으로써 다중모달 추론을 수행하여 시각적 잘못된 정보를 탐지하고 정정한다.
• 확보한 증거를 융합하여 정정을 생성함으로써 사실의 일관성을 확보하고 검증 가능한 참조를 제공한다.
• 세부 조정된 대규모 언어 모델을 사용해 잘못된 정보의 주장을 고려하고 맥락에 맞는 자연스럽고 인간이 읽기 쉬운 설명을 생성한다.
• 실제 배포 환경을 시뮬레이션하여 잘못된 정보 게시 후 다양한 시간대에 Muse의 성능을 테스트한다.

실험 결과

연구 질문

• RQ1 Muse는 GPT-4와 평범한 사람보다 유의미하게 더 정확하고 신뢰할 수 있는 정정을 생성할 수 있는가?
• RQ2 Muse의 성능은 텍스트, 시각, 또는 다중모달 콘텐츠 기반 잘못된 정보를 정정할 때 어떻게 달라지는가?
• RQ3 정정 시점(즉각적 vs. 지연된 시점)이 Muse의 효과성에 어떤 영향을 미치는가?
• RQ4 기본 모델인 LLM과 비교했을 때 Muse는 얼마나 효과적으로 최신이고 신뢰할 수 있는 자료를 검색하고 인용하는가?
• RQ5 다중모달 이해 기능이 이미지나 동영상 기반 잘못된 정보의 정정 품질을 얼마나 향상시키는가?

주요 결과

• Muse는 사실성, 명료성, 참조 정확성 등 13개 평가 차원에서 GPT-4보다 총합 정정 품질에서 37% 높은 성능을 보였다.
• Muse는 평범한 사람의 고품질 정정보다 총합 성능에서 29% 높은 성능을 보였으며, 전문가 수준의 추론 능력을 충족하거나 초월할 수 있음을 입증했다.
• 잘못된 정보가 게시된 지 즉시 정정한 경우 Muse는 고도의 유용성을 지닌 평범한 사람이 13~16시간 후에 작성한 정정 성과와 동일한 중앙값 정정 품질 점수를 기록했다.
• 시각 및 다중모달 검색 통합으로 인해 표준 LLM이 일반적으로 처리하지 못하는 이미지 기반 잘못된 정보의 정정 정확도가 크게 향상되었다.
• 확보한 소스의 신뢰성 평가로 인해 기존의 검색-증강 LLM 대비 환상적인 참조가 50% 이상 감소했다.
• 잘못된 정보 게시 후 30분 이내의 소스만 검색 가능한 상황에서도 Muse의 성능은 안정적이고 높은 수준을 유지했다.