[논문 리뷰] Combination Of Convolution Neural Networks And Deep Neural Networks For Fake News Detection

Zainab A. Jawad, Ahmed J. Obaid|arXiv (Cornell University)|2022. 10. 15.

Misinformation and Its Impacts인용 수 4

한 줄 요약

이 논문은 FNC-1 데이터셋을 사용하여 허위 뉴스 탐지용 하이브리드 딥러닝 모델을 제안한다. 이 모델은 컬러리셔널 신경망(CNN)과 딥 뉴럴 네트워크(DNN)를 결합하여 자연어 처리(NLP) 기법, 소프트 코사인 유사도, 그리고 팔꿈치 방법을 통한 특성 감소를 적용하여 84.6%의 정확도를 달성하였으며, 경쟁 제출물 중 두 번째로 높은 성능을 보였지만 '의견 불일치' 카테고리에서는 성능이 떨어졌다.

ABSTRACT

Nowadays, People prefer to follow the latest news on social media, as it is cheap, easily accessible, and quickly disseminated. However, it can spread fake or unreliable, low-quality news that intentionally contains false information. The spread of fake news can have a negative effect on people and society. Given the seriousness of such a problem, researchers did their best to identify patterns and characteristics that fake news may exhibit to design a system that can detect fake news before publishing. In this paper, we have described the Fake News Challenge stage #1 (FNC-1) dataset and given an overview of the competitive attempts to build a fake news detection system using the FNC-1 dataset. The proposed model was evaluated with the FNC-1 dataset. A competitive dataset is considered an open problem and a challenge worldwide. This system's procedure implies processing the text in the headline and body text columns with different natural language processing techniques. After that, the extracted features are reduced using the elbow truncated method, finding the similarity between each pair using the soft cosine similarity method. The new feature is entered into CNN and DNN deep learning approaches. The proposed system detects all the categories with high accuracy except the disagree category. As a result, the system achieves up to 84.6 % accuracy, classifying it as the second ranking based on other competitive studies regarding this dataset.

연구 동기 및 목표

• 소셜 미디어 플랫폼에서 퍼지는 허위 뉴스의 증가하는 문제에 대응하기 위해.
• 게재 이전에 허위 뉴스를 탐지할 수 있는 강력하고 자동화된 시스템을 개발하기 위해.
• 고급 특성 공학 기법과 함께 CNN 및 DNN 아키텍처를 융합하여 탐지 정확도를 향상시키기 위해.
• 기준 FNC-1 데이터셋에서 모델 성능을 평가하고 기존 접근 방식과 비교하기 위해.
• '의견 불일치' 카테고리의 탐지에 한계가 있음을 규명하기 위해.

제안 방법

• 헤드라인과 본문 텍스트의 텍스트는 자연어 처리 기법을 사용해 사전 처리된다.
• 차원 수를 최적화하기 위해 팔꿈치 절단 방법을 사용해 특성가 추출 및 감소된다.
• 특성 쌍 간의 유사도를 측정하기 위해 소프트 코사인 유사도가 적용된다.
• 감소된 특성들은 국소 패턴 추출을 위한 CNN과 고차원 표현 학습을 위한 DNN에 입력된다.
• 최종 분류는 CNN 및 DNN 구성 요소의 출력을 조합하여 수행된다.
• 모델는 표준 평가 지표를 사용해 FNC-1 데이터셋에서 학습 및 평가된다.

실험 결과

연구 질문

• RQ1 하이브리드 CNN-DNN 아키텍처는 헤드라인과 본문 텍스트의 텍스트 특성을 사용해 허위 뉴스를 효과적으로 탐지할 수 있는가?
• RQ2 팔꿈치 방법을 통한 특성 감소는 허위 뉴스 탐지에서 모델 성능에 어떤 영향을 미치는가?
• RQ3 소프트 코사인 유사도는 허위 뉴스 분류를 위한 특성 표현을 얼마나 향상시키는가?
• RQ4 왜 모델은 다른 클래스에 비해 '의견 불일치' 카테고리에서 성능이 열 劣하는가?
• RQ5 제안된 모델은 FNC-1 벤치마크에서 다른 최첨단 시스템과 비교해 정확도가 어떻게 떨어지는가?

주요 결과

• 제안된 모델은 FNC-1 데이터셋에서 총 84.6%의 정확도를 달성하여 경쟁 시스템 중 두 번째로 높은 순위를 기록하였다.
• 모델은 '의견 불일치' 카테고리 이외의 모든 허위 뉴스 카테고리에서 잘 작동했지만, 이 카테고리에서는 탐지 정확도가 낮았다.
• 팔꿈치 방법을 통한 특성 감소는 모델의 복잡성과 성능 간 균형을 효과적으로 유지하는 데 기여했다.
• 소프트 코사인 유사도는 의미 관계를 포착함으로써 특성 표현 향상에 기여했다.
• CNN과 DNN의 통합은 국소 및 전반적인 텍스트 패턴 학습을 효과적으로 가능하게 하였다.
• 모델는 벤치마크 데이터셋에서 강력한 일반화 능력을 보이며 다양한 허위 뉴스 패턴에 대한 강건성을 입증하였다.