[논문 리뷰] Dataset of Fake News Detection and Fact Verification: A Survey

Taichi Murayama|arXiv (Cornell University)|2021. 11. 05.

Misinformation and Its Impacts참고 문헌 193인용 수 21

한 줄 요약

이 논문은 가짜 뉴스 탐지, 사실 확인 및 관련 작업 분야에서 118개의 데이터셋에 대한 종합적인 조사를 제시하며, 그 특성, 활용 작업 및 한계를 체계적으로 분류한다. 데이터셋 구축 시 발생하는 핵심 과제—예: 데이터 드리프트, 편향, 벤치마크 부족—를 규명하고, 가짜 뉴스 연구 분야에서 모델의 강건성과 재현 가능성을 향상시키기 위한 연구 기회를 제안한다.

ABSTRACT

The rapid increase in fake news, which causes significant damage to society, triggers many fake news related studies, including the development of fake news detection and fact verification techniques. The resources for these studies are mainly available as public datasets taken from Web data. We surveyed 118 datasets related to fake news research on a large scale from three perspectives: (1) fake news detection, (2) fact verification, and (3) other tasks; for example, the analysis of fake news and satire detection. We also describe in detail their utilization tasks and their characteristics. Finally, we highlight the challenges in the fake news dataset construction and some research opportunities that address these challenges. Our survey facilitates fake news research by helping researchers find suitable datasets without reinventing the wheel, and thereby, improves fake news studies in depth.

연구 동기 및 목표

• 가짜 뉴스 탐지, 사실 확인 및 관련 작업을 포함한 118개 데이터셋에 대한 대규모이고 체계적인 리뷰를 제공하기 위해.
• 기존 조사에서의 격차를 메우기 위해, 탐지 및 확인 방법 외에도 데이터셋 특성, 작업 및 한계에 집중하기 위해.
• 모델 평가의 재현성과 강건성을 저해하는 데이터셋 구축의 핵심 과제—예: 데이터 드리프트, 편향, 안정적인 벤치마크 부족—를 부각하기 위해.
• 연구자들이 휠라운드를 반복하지 않고 적절한 데이터셋을 선택할 수 있도록 안내함으로써, 가짜 뉴스 연구의 가속화와 심화를 위해.
• 동적 지식 통합 및 편향 완화와 같은 데이터셋 설계 분야에서 아직 탐색되지 않은 연구 기회를 규명하기 위해.

제안 방법

• 가짜 뉴스 탐지(51개), 사실 확인(25개), 기타 작업(42개, 풍자 및 오명정보 분석 포함)의 세 영역에서 유래한 118개 데이터셋에 대한 대규모 조사를 수행하였다.
• 원천(예: 소셜 미디어, 뉴스 기사, 사실 확인 웹사이트), 주석 유형(이진, 다중 클래스, 시퀀스 레이블링), 시간 범위 기반으로 데이터셋을 분류하였다.
• 언어, 도메인 커버리지, 레이블 신뢰도, 메타데이터(예: 사용자 프로필, 게시 시간 태그)의 가용성 등 데이터셋 특성을 분석하였다.
• 데이터 안정성, API 의존도, 시간적 일관성 등을 평가하여, 특히 소셜 미디어 기반 데이터셋에 있어 벤치마크로서의 적합성을 평가하였다.
• FNC 및 FEVER 데이터셋을 기반으로 훈련된 모델을 사례로 삼아, 단어 수준의 주의 편향, 평가자 편향, 정치적 편향, 성별/인종 편향 등 데이터셋 내 편향을 규명하고 논의하였다.
• 동적 지식 그래프 통합 및 위키데이터 기반 고유명사 교체를 통한 솔루션을 제안하여, 데이터 드리프트에 대한 모델의 강건성을 향상시키고자 하였다.

실험 결과

연구 질문

• RQ1 가짜 뉴스 탐지, 사실 확인 및 관련 작업 분야의 118개 데이터셋 간 핵심 특성과 차이점은 무엇인가?
• RQ2 기존 소셜 미디어 기반 데이터셋이 왜 모델 평가의 안정적 벤치마크로 부적절한가?
• RQ3 단어 수준의 주의 편향, 평가자 편향, 정치적 편향 등의 편향이 가짜 뉴스 탐지에서 모델 성능과 공정성에 어떤 영향을 미치는가?
• RQ4 특히 정치적 또는 사회적 맥락 변화(예: 신임 대통령, 새로운 사건 발생)로 인한 데이터 드리프트가 모델 일반화 능력을 어느 정도 떨어뜨리는가?
• RQ5 가짜 뉴스 연구 분야에서 데이터셋 품질 향상과 모델 강건성 향상을 위한 연구 기회가 무엇이 있는가?

주요 결과

• 조사를 통해 가짜 뉴스 탐지(51개), 사실 확인(25개), 기타 작업(42개, 풍자 및 오명정보 분석 포함)의 세 주요 카테고리에 걸쳐 총 118개의 데이터셋을 규명하였다.
• 트위터15, 트위터16, 패키지뉴스넷 등 널리 사용되는 많은 데이터셋은 소셜 미디어 API 의존성과 동적 데이터에 기반하여 안정적인 벤치마크로 부적절하여 시간이 지남에 따라 결과가 일관되지 않음을 확인하였다.
• 특히 단어 수준의 주의 편향과 평가자 편향 등 데이터셋 내 편향이 모델 일반화에 심각한 영향을 미치며, FNC 및 FEVER 데이터셋의 모델들은 특정 명사어구에 과도하게 의존하는 경향을 보였다.
• 주제나 고유명사의 시간적 변화(예: 새로운 정치인 출현)로 인한 데이터 드리프트는 미래 또는 다중 도메인 환경에서 모델 성능을 저하시키며, 2017년 데이터로 훈련된 모델이 2021년 콘텐츠에 대해 실패하는 것으로 나타났다.
• NELA-GT 데이터셋은 매년 콘텐츠를 업데이트함으로써 장기적 안정성을 확보하는 실현 가능한 접근 방식을 보여주며, 지속 가능한 데이터셋 유지 관리의 모델로 제안된다.
• 본 연구는 중요한 연구 격차를 드러내었으며, 가짜 뉴스 탐지 분야에 널리 인정된 벤치마크가 존재하지 않으며, 향후 연구는 안정적이고 동적이며 편향 인식이 가능한 데이터셋 구축을 우선시해야 한다.