[논문 리뷰] On the Benefit of Combining Neural, Statistical and External Features for Fake News Identification

Gaurav Bhatt, Aman Sharma외 4명|arXiv (Cornell University)|2017. 12. 11.

Misinformation and Its Impacts참고 문헌 21인용 수 18

한 줄 요약

이 논문은 스위프-스토리트 문장 임베딩, TF-IDF 가중 n-gram 특징, 수작업 외부 특징을 통합하는 하이브리드 모델을 제안하여 가짜 뉴스의 입장을 탐지하는 데 성능을 향상시킨다. 딥 뉴럴 네트워크를 통해 신경망, 통계적, 히우리스틱 특징을 결합함으로써 FNC-1 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 총 FNC 점수는 89.29이며 '논의' 입장(85.68%)과 '관련 없음' 입장(98.04%)에서 뛰어난 정확도를 기록하였다.

ABSTRACT

Identifying the veracity of a news article is an interesting problem while automating this process can be a challenging task. Detection of a news article as fake is still an open question as it is contingent on many factors which the current state-of-the-art models fail to incorporate. In this paper, we explore a subtask to fake news identification, and that is stance detection. Given a news article, the task is to determine the relevance of the body and its claim. We present a novel idea that combines the neural, statistical and external features to provide an efficient solution to this problem. We compute the neural embedding from the deep recurrent model, statistical features from the weighted n-gram bag-of-words model and handcrafted external features with the help of feature engineering heuristics. Finally, using deep neural layer all the features are combined, thereby classifying the headline-body news pair as agree, disagree, discuss, or unrelated. We compare our proposed technique with the current state-of-the-art models on the fake news challenge dataset. Through extensive experiments, we find that the proposed model outperforms all the state-of-the-art techniques including the submissions to the fake news challenge.

연구 동기 및 목표

• 헤드라인과 뉴스 본문 간의 입장 탐지에 초점을 맞추어 가짜 뉴스 식별 문제를 해결하기 위해.
• 신경망, 통계적, 외부 특징을 융합하면 가짜 뉴스 입장 분류 성능이 향상되는지 조사하기 위해.
• 특히 '의견 불일치' 입장 카테고리에서 데이터 불균형 문제로 인해 성능이 떨어지는 딥 러닝 모델의 한계를 극복하기 위해.
• 다양한 특징 유형을 활용하여 일반화 능력과 정확도를 향상시키는 강력한 하이브리드 모델을 개발하기 위해.
• 다중 모odal 특징 융합 전략을 사용하여 FNC-1 벤치마크 데이터셋에서 기존 최신 기술 수준의 모델을 초월하기 위해.

제안 방법

• 헤드라인과 뉴스 본문에 대해 밀도 높고 맥락 기반의 문장 임베딩을 생성하기 위해 스위프-스토리트 벡터를 사용한다.
• 텍스트 콘텐츠에서 통계적 특징을 추출하기 위해 TF-IDF 가중 n-gram 백오브워즈 표현을 적용한다.
• 헤드라인과 본문 간의 단어 겹침, 코사인 유사도, n-gram 매칭과 같은 수작업 외부 특징을 통합한다.
• 모든 특징 유형—신경망, 통계적, 외부 특징—을 하나의 딥 뉴럴 네트워크에 통합하여 엔드 투 엔드 분류를 수행한다.
• 스탠스를 '동의', '이견', '논의', '관련 없음' 네 가지 카테고리로 분류하기 위해 딥 피드포워드 네트워크를 활용한다.
• 공식 FNC 점수와 클래스별 정확도를 평가 지표로 사용하여 FNC-1 데이터셋에서 모델을 훈련하고 평가한다.

실험 결과

연구 질문

• RQ1 신경망, 통계적, 외부 특징의 융합이 가짜 뉴스 데이터셋에서 입장 탐지 성능을 향상시킬 수 있는가?
• RQ2 제안된 하이브리드 모델은 FNC-1 벤치마크에서 최신 기술 수준의 딥 러닝 아키텍처와 비교해 어떻게 성능을 내는가?
• RQ3 기존 모델이 '의견 불일치' 입장에서 성능이 떨어지는 이유는 무엇이며, 특징 공학이 이를 완화하는 데 기여하는가?
• RQ4 스위프-스토리트 임베딩과 TF-IDF, 히우리스틱 특징을 융합하면 불균형 데이터에서 더 나은 일반화 성능을 낼 수 있는가?
• RQ5 외부 특징이 '관련 없음' 및 '논의' 입장에서 성능 향상에 얼마나 기여하는가?

주요 결과

• 제안된 모델은 총 FNC 점수 89.29를 기록하여 FNC-1 도전 대회 최고 기록 제출자들을 포함한 모든 최신 기술 수준의 모델을 능가하였다.
• 모델은 '논의' 입장에서 가장 높은 클래스별 정확도(85.68%)를 기록하였으며, 다른 모델들보다 뚜렷하게 뛰어난 성능을 보였다.
• '관련 없음' 입장에서 98.04%의 정확도를 기록하여 이 도전적인 카테고리에서 강력한 일반화 능력을 입증하였다.
• 일부 최고 기록 제출자보다 약간 낮은 총 정확도를 기록했음에도 불구하고, FNC 점수가 더 높아 모든 입장에서의 균형 잡힌 성능을 보였다.
• 혼동 행렬을 분석한 결과, '동의'(43.82%)와 '의견 불일치'(6.31%)에서 뛰어난 성능을 보였으며, 특히 후자는 대부분의 모델이 어려워하는 카테고리였다.
• 모델의 성공은 스위프-스토리트 임베딩, TF-IDF n-gram, 수작업 특징의 효과적 융합 덕분이며, 이는 데이터 불균형과 모델 편향을 보완하는 데 기여하였다.