[논문 리뷰] Fake News Detection with Different Models

Sairamvinay Vijayaraghavan, Ye Wang외 8명|arXiv (Cornell University)|2020. 02. 15.

Misinformation and Its Impacts참고 문헌 9인용 수 9

한 줄 요약

이 논문은 여러 NLP 모델을 사용하여 텍스트 기반 가짜 뉴스 탐지에 대해 조사하며, 텍스트 표현을 위한 TF-IDF, CountVectorizer, Word2Vec를 비교한 후, 신경망과 LSTMs를 포함한 기계학습 모델의 성능을 평가한다. CountVectorizer와 LSTM의 조합이 가장 뛰어난 성능을 보였으며, 이는 문맥 기반 단어 표현과 순차적 모델링이 가짜 뉴스 탐지 정확도를 크게 향상시킨다는 것을 보여준다.

ABSTRACT

This is a paper for exploring various different models aiming at developing fake news detection models and we had used certain machine learning algorithms and we had used pretrained algorithms such as TFIDF and CV and W2V as features for processing textual data.

연구 동기 및 목표

• 오늘날 확산되는 오락성 정보 문제를 해결하기 위해 자동화된 정확한 시스템을 개발하여 뉴스 기사의 진위 여부를 분류하는 것을 목적으로 한다.
• TF-IDF, CountVectorizer, Word2Vec와 같은 다양한 텍스트 벡터화 기법이 가짜 뉴스 탐지에 있어 문맥 정보를 얼마나 잘 유지하는지 평가하는 것.
• 동일한 데이터셋에서 전통적 분류기와 딥러닝 아키텍처를 포함한 다양한 기계학습 모델의 성능을 비교하는 것.
• 가짜 뉴스 탐지에 최적의 파이프라인을 도출하기 위해 사전 훈련된 벡터화 기법과 미세조정 기법을 조합하는 것.

제안 방법

• 이 연구는 이진 분류 프레임워크를 사용하며, 가짜 뉴스는 양성(라벨=1)으로, 실재 뉴스는 음성(라벨=0)으로 간주한다.
• 텍스트 데이터는 노이즈를 줄이고 모델 일반화 능력을 향상시키기 위해 숫자, 구두점, 정지어를 제거함으로써 사전 처리된다.
• 세 가지 텍스트 벡터화 방법이 적용된다: TF-IDF, CountVectorizer, Word2Vec. 각 방법은 원시 텍스트를 수치 특성 벡터로 변환한다.
• 다섯 가지 후행 모델이 평가된다: 서포트 벡터 머신(SVM), 로지스틱 회귀, 랜덤 포레스트, 인공 신경망(ANN), 장기 숏텀 기억(LSTM) 네트워크.
• 최고의 성능을 보이는 모델은 그리드 서치와 ROC 곡선 분석을 통해 식별되며, 정확도와 F1 점수를 기반으로 모델 평가가 이루어진다.
• 최종 파이프라인은 CountVectorizer를 특징 추출에, LSTM을 순차적 모델링에 사용하여 단어 빈도와 순차적 문맥을 모두 활용한다.

실험 결과

연구 질문

• RQ1 TF-IDF, CountVectorizer, Word2Vec 중 어떤 텍스트 벡터화 기법이 가짜 뉴스 탐지에 있어 가장 많은 문맥 정보를 유지하는가?
• RQ2 예를 들어 SVM, 로지스틱 회귀와 같은 전통적 기계학습 모델은 예를 들어 ANN, LSTM과 같은 딥러닝 모델에 비해 가짜 뉴스 분류에서 어떻게 비교되는가?
• RQ3 예를 들어 CountVectorizer와 같은 전통적 벡터라이저와 LSTM과 같은 순차적 모델을 조합하면 단독 모델보다 뛰어난 성능을 내는가?
• RQ4 더 큰 코퍼스에서 사전 훈련된 임베딩을 사용하거나 BERT와 같은 더 고급 아키텍처를 사용하면 모델 성능을 추가로 향상시킬 수 있는가?

주요 결과

• 세 가지 사전 훈련된 벡터라이징 알고리즘 중에서 Word2Vec는 일반적으로 가장 낮은 성능을 보였고, CountVectorizer는 대부분의 평가 케이스에서 TF-IDF를 초월했다.
• 다섯 가지 미세조정 알고리즘 중에서 신경망(ANN 및 LSTM)은 SVM 및 로지스틱 회귀와 같은 전통적 분류기보다 더 뛰어난 성능을 보였다.
• CountVectorizer와 LSTM의 조합이 가장 높은 분류 성능을 기록했으며, 이는 순차적 모델링이 빈도 기반 단어 표현에서 큰 이점을 얻을 수 있음을 시사한다.
• 연구에서 LSTMs의 실제 순환 구조를 사용한 모델(Word2Vec 임베딩 기반)은 강력한 잠재력을 보였지만, 높은 계산 비용과 시간 제약로 인해 배제되었다.
• 저자들은 향후 향상 가능성이 있는 방향으로 더 큰 사전 훈련된 임베딩(GloVe 등)이나 BERT 및 트랜스포머와 같은 최신 기술을 사용할 것을 제안하며, 이는 병렬 처리와 더 나은 문맥 모델링을 지원한다.
• 현재 모델 파이프라인은 이진 분류에 효과적이지만, 다중 카테고리 가짜 뉴스 분류와 같은 더 복잡한 작업을 위해 양방향 LSTMs나 다중 클래스 헤드를 사용하는 등의 적응이 필요할 수 있다.