[논문 리뷰] Large Language Model Agent for Fake News Detection

Xinyi Li, Yongfeng Zhang외 1명|arXiv (Cornell University)|2024. 04. 30.

Misinformation and Its Impacts인용 수 4

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)을 사용하여 내부 지식과 외부 도구를 조합한 구조적이고 전문가가 설계한 워크플로우를 통해 가짜 뉴스를 탐지하는 응용형 프레임워크인 FactAgent을 제안한다. 학습이 전혀 필요 없이도 FactAgent은 검증 과정을 하위 단계로 분해함으로써 투명하고 단계적인 추론을 제공하며, 지도 학습 모델과 표준 프롬프팅 기법을 능가하는 높은 정확도를 달성한다.

ABSTRACT

In the current digital era, the rapid spread of misinformation on online platforms presents significant challenges to societal well-being, public trust, and democratic processes, influencing critical decision making and public opinion. To address these challenges, there is a growing need for automated fake news detection mechanisms. Pre-trained large language models (LLMs) have demonstrated exceptional capabilities across various natural language processing (NLP) tasks, prompting exploration into their potential for verifying news claims. Instead of employing LLMs in a non-agentic way, where LLMs generate responses based on direct prompts in a single shot, our work introduces FactAgent, an agentic approach of utilizing LLMs for fake news detection. FactAgent enables LLMs to emulate human expert behavior in verifying news claims without any model training, following a structured workflow. This workflow breaks down the complex task of news veracity checking into multiple sub-steps, where LLMs complete simple tasks using their internal knowledge or external tools. At the final step of the workflow, LLMs integrate all findings throughout the workflow to determine the news claim's veracity. Compared to manual human verification, FactAgent offers enhanced efficiency. Experimental studies demonstrate the effectiveness of FactAgent in verifying claims without the need for any training process. Moreover, FactAgent provides transparent explanations at each step of the workflow and during final decision-making, offering insights into the reasoning process of fake news detection for end users. FactAgent is highly adaptable, allowing for straightforward updates to its tools that LLMs can leverage within the workflow, as well as updates to the workflow itself using domain knowledge. This adaptability enables FactAgent's application to news verification across various domains.

연구 동기 및 목표

• 디지털 플랫폼에서 급속도로 확산되는 오락성 정보에 대비한 확장성 있고 효율적인 가짜 뉴스 탐지의 과제를 해결하기 위해.
• 비용이 많이 들고 인간이 애너테이션한 데이터셋이 필요한 지도 학습 모델의 한계를 극복하기 위해.
• 검증 과정의 각 단계에서 명시적인 추론을 제공함으로써 가짜 뉴스 탐지의 해석 가능성과 투명성을 향상시키기 위해.
• 도메인 전문 지식을 활용해 도구와 워크플로우를 업데이트함으로써 다양한 도메인에 유연하게 적용 가능한 탐지 시스템을 구현하기 위해.
• 모델 미세조정 없이도 LLM 기반의 응용형 시스템이 비응용형 프롬프팅 및 기존의 사실 확인 방법을 능가할 수 있음을 입증하기 위해.

제안 방법

• FactAgent는 인간 전문가의 사실 확인 행동을 모방하는 구조적이고 다단계 워크플로우를 사용하여 뉴스 검증을 관리 가능한 하위 작업으로 분해한다.
• 각 하위 단계는 LLM의 내부 지식 또는 외부 도구(예: 검색 엔진, 지식 그래프)를 사용하여 관련 증거를 확보한다.
• LLM은 각 도구에서 확보한 결과를 도메인 특화 체크리스트와 비교하여 추론의 일관성과 완전성을 확보한다.
• 최종 결정은 빈틈없는 다수결 투표가 아니라 모든 관찰 결과의 통합에 기반하므로 유연한 판단이 가능하다.
• 워크플로우는 전문가의 도메인 지식을 기반으로 설계되었으며, 새로운 도구나 검증 기준을 쉽게 통합할 수 있도록 설계되었다.
• 시스템은 모델 미세조정이나 레이블이 붙은 데이터 없이도 제로샷 방식으로 작동한다.

실험 결과

연구 질문

• RQ1 모델 미세조정 없이도 LLM 기반의 응용형 시스템이 비응용형 프롬프팅 및 지도 학습 모델보다 가짜 뉴스 탐지에서 뛰어난 성능을 보일 수 있는가?
• RQ2 전문가가 설계한 워크플로우와 외부 도구의 통합이 LLM 기반의 사실 확인에서 정확도와 해석 가능성에 어떤 영향을 미치는가?
• RQ3 LLM이 여러 증거 자료와 체크리스트를 기반으로 추론할 수 있도록 허용할 경우, 다수결 전략에 의존하는 것보다 성능이 향상되는가?
• RQ4 워크플로우와 도구 업데이트를 통해 FactAgent는 얼마나 다양한 뉴스 도메인에 적응할 수 있는가?
• RQ5 FactAgent의 단계별 추론의 투명성은 블랙박스 모델에 비해 사용자 신뢰도와 이해도를 얼마나 향상시키는가?

주요 결과

• 전문가가 설계한 워크플로우를 갖춘 FactAgent는 지도 학습 모델, 표준 프롬프팅, 체인 오브 타ught 프롬프팅, 단일 측면 분석에 비해 가짜 뉴스 탐지에서 뛰어난 성능을 보였다.
• 외부 검색을 사용하는 이전의 LLM 기반 사실 확인 시스템인 HiSS보다 FactAgent는 구조적 추론과 도메인 특화 체크리스트를 통합함으로써 더 높은 성능을 달성했다.
• 최종 결정에 다수결 전략을 적용한 경우, 체크리스트와 결과를 비교하도록 지시한 LLM의 추론 방식에 비해 열등한 성능을 보였다. 이는 민감한 판단이 가능한 다각적 추론이 더 나은 결과를 낳음을 시사한다.
• 시스템은 각 단계에서 명시적이고 자연어 기반의 설명을 제공하여 검증 과정의 해석 가능성과 사용자 이해도를 향상시켰다.
• FactAgent의 성능는 전문가가 설계한 워크플로우의 품질에 크게 의존하며, 이는 시스템 설계에서 도메인 지식의 중요성을 강조한다.
• 이 프레임워크는 매우 유연하여 재학습 없이도 새로운 도구 통합과 워크플로우 수정이 원활하게 가능하다.