[논문 리뷰] Adapting Fake News Detection to the Era of Large Language Models

Jinyan Su, Claire Cardie외 1명|arXiv (Cornell University)|2023. 11. 02.

Misinformation and Its Impacts인용 수 5

한 줄 요약

이 논문은 대규모 언어 모델(LLM) 시대에 가짜 뉴스 검출기의 적응 방법을 탐구하며, 인간과 기계가 생성한 진위 뉴스에 대해 성능을 평가한다. 연구 결과, 인간이 작성한 뉴스로만 훈련된 검출기는 기계가 생성한 가짜 뉴스를 잘 감지하지만, 반대로는 그렇지 않으며, 테스트 세트보다 훈련 세트에서 기계가 생성한 콘텐츠 비율을 낮추는 것이 편향을 줄이고 탐지기의 강건성을 향상시키는 데 도움이 된다고 제안한다.

ABSTRACT

In the age of large language models (LLMs) and the widespread adoption of AI-driven content creation, the landscape of information dissemination has witnessed a paradigm shift. With the proliferation of both human-written and machine-generated real and fake news, robustly and effectively discerning the veracity of news articles has become an intricate challenge. While substantial research has been dedicated to fake news detection, this either assumes that all news articles are human-written or abruptly assumes that all machine-generated news are fake. Thus, a significant gap exists in understanding the interplay between machine-(paraphrased) real news, machine-generated fake news, human-written fake news, and human-written real news. In this paper, we study this gap by conducting a comprehensive evaluation of fake news detectors trained in various scenarios. Our primary objectives revolve around the following pivotal question: How to adapt fake news detectors to the era of LLMs? Our experiments reveal an interesting pattern that detectors trained exclusively on human-written articles can indeed perform well at detecting machine-generated fake news, but not vice versa. Moreover, due to the bias of detectors against machine-generated texts \cite{su2023fake}, they should be trained on datasets with a lower machine-generated news ratio than the test set. Building on our findings, we provide a practical strategy for the development of robust fake news detectors.

연구 동기 및 목표

• 다양한 콘텐츠 출처—인간과 기계가 생성한 진위 뉴스—에 대한 가짜 뉴스 검출기 성능에 대한 이해 부족을 해소하기 위해.
• 오직 인간이 작성한 뉴스로만 훈련된 검출기가 기계가 생성한 가짜 뉴스를 일반화하여 감지할 수 있는지 조사하기 위해.
• 특히 기계가 생성한 콘텐츠의 비율을 포함한 훈련 데이터 구성이 검출기 성능과 편향에 미치는 영향을 검토하기 위해.
• LLM 시대에 모든 뉴스 유형에 걸쳐 일반화와 공정성을 향상시키기 위한 실용적인 훈련 전략을 제공하기 위해.
• evolving LLM 기반 콘텐츠 환경에서 데이터 분포 이동과 모델 편향에 대한 인식을 제고하기 위해.

제안 방법

• RoBERTa, BERT, ELECTRA, ALBERT, DeBERTa 등의 가짜 뉴스 검출기를 인간이 작성한 진위 뉴스(HR), 인간이 작성한 가짜 뉴스(HF), 기계가 약간 다듬은 진위 뉴스(MR), 기계가 생성한 가짜 뉴스(MF)의 네 가지 뉴스 유형에 대해 종합적으로 평가하였다.
• 인간과 기계가 생성한 데이터의 다양한 비율로 검출기를 훈련시었으며, 기계가 생성한 콘텐츠 비율이 0%, 50%, 100%인 경우를 포함하였다.
• 도메인 내 및 도메인 외 탐지 정확도를 사용하여 성능을 평가하였으며, 클래스별 정확도와 분포 이동에 대한 강건성에 중점을 두었다.
• 일반화 능력을 평가하기 위해 도메인 간 성능 저하를 분석하였으며, 특히 모든 인간 기반 데이터로 훈련한 모델과 혼합 데이터로 훈련한 모델를 비교하였다.
• 시간적 틀을 세 단계로 나누어 모델링한 시간적 틀—'인간 유산', '전이적 공존', '기계 지배'—을 사용하여 변화하는 데이터 분포 이동을 설명하였다.
• 검출기 편향을 완화하기 위해 테스트 세트보다 훈련 세트에서 기계가 생성한 콘텐츠 비율을 낮추는 훈련 전략을 제안하였다.

실험 결과

연구 질문

• RQ1 오직 인간이 작성한 뉴스로만 훈련된 가짜 뉴스 검출기가 기계가 생성한 가짜 뉴스를 효과적으로 감지할 수 있는가?
• RQ2 훈련 데이터에서 기계가 생성한 콘텐츠 비율이 다양한 뉴스 유형의 검출기 성능에 어떤 영향을 미치는가?
• RQ3 훈련 데이터 구성, 특히 기계가 생성한 콘텐츠 비율이 검출기의 도메인 외 분포 일반화에 어떤 영향을 미치는가?
• RQ4 기계가 생성한 콘텐츠 또는 인간이 작성한 콘텐츠에 대한 검출기 편향이 다양한 뉴스 유형의 탐지 정확도에 어떤 영향을 미치는가?
• RQ5 LLM에 의한 변화하는 데이터 분포에 대비해 강건성과 공정성을 향상시키기 위한 훈련 전략은 무엇인가?

주요 결과

• 오직 인간이 작성한 뉴스(HR 및 HF)로만 훈련된 검출기는 기계가 생성한 가짜 뉴스(MF)를 잘 감지하여, 생성 출처 간 일반화가 가능함을 시사한다.
• 반대로는 성립하지 않으며, 기계가 생성한 콘텐츠로만 훈련된 검출기는 인간이 작성한 가짜 뉴스를 효과적으로 감지하지 못함을 보여, 심각한 비대칭성이 존재함을 드러낸다.
• 테스트 세트보다 훈련 세트에서 기계가 생성한 뉴스 비율을 낮게 설정하면 전체 성능 향상과 분포 이동에 의한 성능 저하 감소가 이루어진다.
• 인간이 작성한 뉴스로만 훈련된 검출기는 MF에 대해 HF보다 더 높은 정확도를 보이며, MF에 노출되지 않은 상태에서도 이는 성립함을 시사한다. 이는 인간이 작성한 가짜 뉴스에 대한 내재된 편향을 시사한다.
• HR, HF, MR, MF를 포함한 혼합 데이터를 활용하면 도메인 외 일반화 능력이 향상되며, 특히 진위 뉴스 비율이 균형 잡힌 혼합 데이터를 포함한 훈련 세트일 경우 더욱 효과적이다.
• 모든 인간 기반 데이터로 훈련했을 경우 인간이 작성한 진위 뉴스(HR)의 성능 저하가 가장 심각하며, RoBERTa 기준 정확도가 -52.27 감소함을 보여, 강력한 도메인 이동 문제를 시사한다.