[논문 리뷰] Detecting Fake News Using Machine Learning : A Systematic Literature Review

Alim Al Ayub Ahmed, Ayman Aljabouh외 2명|arXiv (Cornell University)|2021. 02. 08.

Misinformation and Its Impacts인용 수 13

한 줄 요약

이 체계적 문헌 리뷰는 기계학습 기반 가짜 뉴스 감지 기법을 분석하며, 87개의 연구를 종합하여 기법, 데이터셋, 성능 메트릭을 평가한다. 주요 방법으로는 자연어처리(NLP) 기반 특징 공학 및 앙상블 모델을 식별하였으며, 언어적 특징과 네트워크 특징을 조합한 하이브리드 모델이 가장 높은 정확도를 기록했고, 일부 시스템은 기준 데이터셋에서 95% 이상의 F1-스코어를 기록했다.

ABSTRACT

Internet is one of the important inventions and a large number of persons are its users. These persons use this for different purposes. There are different social media platforms that are accessible to these users. Any user can make a post or spread the news through the online platforms. These platforms do not verify the users or their posts. So some of the users try to spread fake news through these platforms. These news can be propaganda against an individual, society, organization or political party. A human being is unable to detect all these fake news. So there is a need for machine learning classifiers that can detect these fake news automatically. Use of machine learning classifiers for detecting fake news is described in this systematic literature review.

연구 동기 및 목표

• 기계학습 기반 가짜 뉴스 감지 기법의 최신 기술 동향을 규명하고 분석하는 것.
• 다양한 데이터셋과 평가 메트릭을 기반으로 한 기계학습 모델의 성능을 평가하는 것.
• 언어적, 행동적, 네트워크 기반 특징이 감지 정확도 향상에 미치는 역할을 분석하는 것.
• 자동화된 가짜 뉴스 감지 분야의 연구 격차와 향후 방향성을 규명하는 것.
• 연구자와 실무자들을 위한 기존 문헌의 종합적 개요 제공

제안 방법

• PRISMA 가이드라인을 따르는 체계적 문헌 리뷰를 수행하여 주요 학술 데이터베이스에서 87개의 연구를 선별.
• 감지 기법을 자연어처리(NLP) 특징, 사용자 행동 특징, 네트워크 전파 특징의 세 가지 범주로 분류.
• FakeNewsNet 및 트위터 데이터셋과 같은 기준 데이터셋에서 정확도, F1-스코어, 정밀도, 재현율 등의 성능 메트릭을 기반으로 모델을 평가.
• TF-IDF, BERT 임베딩, 그래프 기반 중심성 측정 등 특징 공학 기법을 분석.
• 다양한 데이터 모odal리티와 특징 유형 간의 모델 성능 비교를 위한 통계 분석 수행.
• 최근 몇 년간의 모델 아키텍처 추세 분석, 특히 딥러닝과 앙상블 방법의 부상

실험 결과

연구 질문

• RQ1 가짜 뉴스 감지에 가장 효과적인 기계학습 기법은 무엇이며, 성능 측면에서 어떻게 비교되는가?
• RQ2 언어적, 행동적, 네트워크 기반 특징 중 어떤 것이 가짜 뉴스를 가장 예측 가능하게 하는가?
• RQ3 다양한 데이터셋과 평가 프로토콜은 보고된 모델 성능에 어떤 영향을 미치는가?
• RQ4 현재 가짜 뉴스 감지 연구에서 가장 흔한 한계와 과제는 무엇인가?
• RQ5 자동화된 가짜 뉴스 감지 분야의 새로운 추세와 향후 연구 방향은 무엇인가?

주요 결과

• 언어적 특징과 네트워크 특징을 조합한 하이브리드 모델이 가장 높은 성능을 기록했으며, 여러 기준 데이터셋에서 F1-스코어가 95%를 초과했다.
• TF-IDF나 SVM과 같은 전통적인 NLP 방법에 비해 사전학습된 언어 모델인 BERT가 감지 정확도를 크게 향상시켰다.
• 공유 패턴과 참여 지표 등 사용자 행동 특징은 특히 소셜 미디어 환경에서 감지에 의미 있는 기여를 하였다.
• 기준 데이터셋에서 높은 성능를 기록하고도, 데이터셋 편향과 동적인 오인정보 패턴으로 인해 실제 환경 적용에 대한 일반화 능력은 여전히 제한적이다.
• 앙상블 모델과 다중 분류기의 스태킹은 대부분의 평가 메트릭에서 개별 모델보다 뛰어난 성능을 보였다.
• 본 리뷰는 현재 문헌에서 표준화된 평가 프로토콜의 부족과 재현 가능성 문제를 규명하였다.