[논문 리뷰] Development of Fake News Model using Machine Learning through Natural Language Processing

Sajjad Ahmed, Knut Hinkelmann외 1명|arXiv (Cornell University)|2022. 01. 19.

Misinformation and Its Impacts인용 수 13

한 줄 요약

이 논문은 자연어 처리 기법을 사용한 기계학습 기반 가짜 뉴스 탐지 모델을 제안하며, 두 개의 공공 데이터셋에서 수동적 적대성, 나이브 베이즈, 서포트 벡터 머신 분류기의 성능을 평가한다. 텍스트 특징 추출과 이러한 분류기의 통합은 탐지 성능을 향상시키며, 제한된 주석이 부여된 코퍼스가 존재하는 상황에서도 지도 학습의 효과성을 입증한다.

ABSTRACT

Fake news detection research is still in the early stage as this is a relatively new phenomenon in the interest raised by society. Machine learning helps to solve complex problems and to build AI systems nowadays and especially in those cases where we have tacit knowledge or the knowledge that is not known. We used machine learning algorithms and for identification of fake news; we applied three classifiers; Passive Aggressive, Na\\"ive Bayes, and Support Vector Machine. Simple classification is not completely correct in fake news detection because classification methods are not specialized for fake news. With the integration of machine learning and text-based processing, we can detect fake news and build classifiers that can classify the news data. Text classification mainly focuses on extracting various features of text and after that incorporating those features into classification. The big challenge in this area is the lack of an efficient way to differentiate between fake and non-fake due to the unavailability of corpora. We applied three different machine learning classifiers on two publicly available datasets. Experimental analysis based on the existing dataset indicates a very encouraging and improved performance.

연구 동기 및 목표

• 자동화된 탐지 시스템을 통해 가짜 뉴스 유포의 증가하는 도전에 대응하기 위해.
• 자연어 처리를 활용한 기계학습 모델이 가짜 뉴스를 식별하는 데 얼마나 효과적인지 조사하기 위해.
• 공개된 데이터셋에서 여러 분류기를 평가하여 가짜 뉴스 탐지에 최적의 성능을 도출하기 위해.
• 일반 텍스트 분류의 한계를 극복하기 위해 가짜 뉴스 탐지에 특화된 방법을 적응시키기 위해.
• 디지털 미디어에서 오락성 정보를 식별하는 신뢰할 수 있고 데이터 기반의 도구 개발에 기여하기 위해.

제안 방법

• 본 연구는 세 가지 기계학습 분류기인 수동적 적대성, 나이브 베이즈, 서포트 벡터 머신(SVM)을 활용한다.
• 자연어 처리 기법을 사용해 뉴스 기사에서 텍스트 특징을 추출하여 텍스트 내용을 수치적으로 표현한다.
• 재현 가능성을 확보하기 위해 모델은 두 개의 공개된 가짜 뉴스 데이터셋에서 훈련되고 평가된다.
• 특징 공학은 기만성 또는 과도한 뉴스성 표현을 나타내는 언어적 및 스타일적 패턴을 포착하는 데 집중된다.
• 정확도 및 관련 측정치에 따라 표준 분류 지표를 사용해 성능을 평가하며 결과를 보고한다.
• 자연어 처리와 지도 학습의 통합은 뉴스 기사가 가짜인지 진짜인지 자동으로 분류할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 자연어 처리 기반 특징을 사용할 때 어떤 기계학습 분류기가 가짜 뉴스 탐지에 가장 우수한 성능을 보이는가?
• RQ2 수동적 적대성, 나이브 베이즈, SVM 모델은 공공 데이터셋에서 가짜 뉴스와 진짜 뉴스를 얼마나 효과적으로 구분하는가?
• RQ3 텍스트 특징 추출은 가짜 뉴스 탐지 정확도를 얼마나 향상시키는가?
• RQ4 제한된 코퍼스에서 훈련된 지도 학습 모델은 신뢰할 수 있는 가짜 뉴스 분류를 달성할 수 있는가?
• RQ5 다양한 분류기의 가짜 뉴스 탐지 맥락에서의 상대적 강점과 한계는 무엇인가?

주요 결과

• 실험 분석 결과, 테스트된 모든 세 분류기에서 성능 향상이 관찰되었다.
• 자연어 처리와 기계학습의 통합은 가짜 뉴스 콘텐츠와 진짜 뉴스 콘텐츠를 효과적으로 구분할 수 있도록 한다.
• 서포트 벡터 머신, 나이브 베이즈, 수동적 적대성 분류기는 모두 강력한 탐지 능력을 보였다.
• 결과는 전용 텍스트 분류 모델이 일반 분류 접근 방식보다 가짜 뉴스 탐지에서 뛰어난 성능을 낼 수 있음을 시사한다.
• 큰 규모의 고품질 코퍼스가 부족한 상황에서도 모델들은 유망한 결과를 달성했으며, 실세계 적용 가능성은 높아 보인다.
• 본 연구는 기계학습과 자연어 처리의 조합이 가짜 뉴스 탐지에 실현 가능하고 효과적인 접근법임을 확인한다.