[논문 리뷰] Combating Misinformation in the Age of LLMs: Opportunities and Challenges

Canyu Chen, Kai Shu|arXiv (Cornell University)|2023. 11. 09.

Misinformation and Its Impacts인용 수 20

한 줄 요약

대형 언어 모델(LLM)을 활용해 잘못된 정보에 맞서기 위한 포괄적 연구 조사로, 탐지, 개입, 인간-및 LLM 생성 잘못된 정보의 출처 지시의 기회, 도전과 미래 방향을 제시한다.

ABSTRACT

Misinformation such as fake news and rumors is a serious threat on information ecosystems and public trust. The emergence of Large Language Models (LLMs) has great potential to reshape the landscape of combating misinformation. Generally, LLMs can be a double-edged sword in the fight. On the one hand, LLMs bring promising opportunities for combating misinformation due to their profound world knowledge and strong reasoning abilities. Thus, one emergent question is: how to utilize LLMs to combat misinformation? On the other hand, the critical challenge is that LLMs can be easily leveraged to generate deceptive misinformation at scale. Then, another important question is: how to combat LLM-generated misinformation? In this paper, we first systematically review the history of combating misinformation before the advent of LLMs. Then we illustrate the current efforts and present an outlook for these two fundamental questions respectively. The goal of this survey paper is to facilitate the progress of utilizing LLMs for fighting misinformation and call for interdisciplinary efforts from different stakeholders for combating LLM-generated misinformation.

연구 동기 및 목표

• LLMs 이전의 허위정보 완화에 대한 역사적 개요를 제공하고, 탐지에 초점을 둔다.
• 허위정보 퇴치를 위해 LLM을 활용하는 기회와 도전을 분석한다.
• LLM 보조 허위정보 개입 및 출처 지시를 탐구하고, 잠재적 다중모달/인간 협업 방법을 모색한다.
• LLM 생성 허위정보를 다루기 위한 위험 요소와 필요한 학제간 조치를 식별한다.

제안 방법

• LLM 이전의 허위정보 탐지 방법에 대한 체계적 문헌고찰로, 언어적, 신경적, 사회-맥락적, 외부 지식, 일반화, 감독, 다국어 및 다중모달 접근법을 다룬다.
• LLM이 탐지, 개입, 출처 지시에 어떻게 기여할 수 있는지에 대한 합성을 다루며, 외부 지식, 도구, 다중모달 데이터, 자율 에이전트의 활용을 포함한다.
• LLM 기반 탐지기에서의 신뢰성, 강건성, 설명가능성, 공정성, 프라이버시, 투명성에 관해 논의한다.
• LLM 생성 허위정보의 특성화, 분야별 위협 및 대응책에 대한 분석이다.

실험 결과

연구 질문

• RQ1 LLMs이 허위정보를 효과적으로 퇴치하는 데 활용될 수 있는가?
• RQ2 LLM 생성 허위정보를 완화하는 효과적인 전략은 무엇인가?
• RQ3 어떻게 LLM이 신뢰할 수 있는 방식으로 허위정보 탐지, 개입, 출처 지시를 향상시킬 수 있는가?
• RQ4 이 영역에서 다국어 및 다중모달 LLM, LLM 에이전트, 인간-LLM 협업의 역할은 무엇인가?
• RQ5 새롭게 대두하는 LLM 생성 허위정보의 위험에 대응하기 위해 필요한 학제간 조치는 무엇인가?

주요 결과

• LLMs offer strong world knowledge and reasoning that can bolster misinformation detection and verification.
• LLMs augmented with external knowledge, tools, and multimodal inputs can mitigate hallucinations and improve factuality.
• There are emerging opportunities for LLMs in intervention and attribution, not just detection, along with human-LLM collaboration.
• Trustworthiness concerns remain central, including robustness, explainability, fairness, and privacy, requiring new evaluation approaches for LLM-based detectors.
• LLM-generated misinformation poses real-world threats across journalism, healthcare, finance, and politics, necessitating proactive countermeasures and interdisciplinary coordination.