[논문 리뷰] Explainable Tsetlin Machine framework for fake news detection with credibility score assessment

Bimal Bhattarai, Ole‐Christoffer Granmo외 1명|arXiv (Cornell University)|2021. 05. 19.

Misinformation and Its Impacts참고 문헌 35인용 수 21

한 줄 요약

이 논문은 문맥적 및 의미적 패턴을 포착하는 논리적 절을 사용하여 가짜 뉴스 탐지에 대해 설명 가능한 Tsetlin Machine(TM) 프레임워크를 제안한다. 이는 전역적이고 국소적인 해석 가능성을 모두 제공하며, 이전의 기준 모델들보다 최소 5% 높은 정확도를 달성하고, BERT와 XLNet보다 F1 점수에서 뛰어나지만, 절 수준의 특징 분석을 통해 투명성을 유지한다.

ABSTRACT

The proliferation of fake news, i.e., news intentionally spread for misinformation, poses a threat to individuals and society. Despite various fact-checking websites such as PolitiFact, robust detection techniques are required to deal with the increase in fake news. Several deep learning models show promising results for fake news classification, however, their black-box nature makes it difficult to explain their classification decisions and quality-assure the models. We here address this problem by proposing a novel interpretable fake news detection framework based on the recently introduced Tsetlin Machine (TM). In brief, we utilize the conjunctive clauses of the TM to capture lexical and semantic properties of both true and fake news text. Further, we use the clause ensembles to calculate the credibility of fake news. For evaluation, we conduct experiments on two publicly available datasets, PolitiFact and GossipCop, and demonstrate that the TM framework significantly outperforms previously published baselines by at least $5\%$ in terms of accuracy, with the added benefit of an interpretable logic-based representation. Further, our approach provides higher F1-score than BERT and XLNet, however, we obtain slightly lower accuracy. We finally present a case study on our model's explainability, demonstrating how it decomposes into meaningful words and their negations.

연구 동기 및 목표

• 딥 러닝 기반의 가짜 뉴스 탐지 모델에서의 해석 가능성 부족 문제를 해결하기 위해.
• 사람이 이해할 수 있는 절을 사용하여 분류 결정을 설명할 수 있는 투명하고 논리적인 프레임워크를 개발하기 위해.
• 분류 신뢰도 기반으로 개별 가짜 뉴스 항목에 대한 신뢰성 점수를 제공하기 위해.
• 해석 가능성 유지와 함께 성능을 향상시켜 BERT나 XLNet과 같은 블랙박스 모델의 한계를 극복하기 위해.
• TM 절이 진술 및 부정된 단어 패턴을 모두 포착하여 진실된 뉴스와 가짜 뉴스를 견고하게 구분할 수 있도록 하는 방법을 보여주기 위해.

제안 방법

• Tsetlin Machine(TM)은 뉴스 텍스트의 어휘적 및 의미적 패턴을 모델링하기 위해 결합 절을 사용하며, 레이블이 붙은 데이터로부터 학습한다.
• TM 프레임워크의 각 절은 일반 및 부정된 리터럴로 구성되어 있어 향상된 구분 능력을 위한 비단조화적 추론을 가능하게 한다.
• 모델는 양극성 및 음극성 그룹 내에서 활성화된 절의 투표를 집계하여 뉴스를 분류한다.
• 신뢰도 점수는 분류 투표의 신뢰도에서 유도되며, 신뢰성에 따라 가짜 뉴스를 순위 매길 수 있도록 한다.
• 프레임워크는 절에 포착된 단어 패턴을 활용하여 전역적 해석 가능성을 제공하며, 분류에 기여하는 특징을 보여준다.
• 사례 연구를 통해 절 내 상위 리터럴(일반 및 부정) 분석을 통해 국소적 해석 가능성과 특징의 관련성을 입증한다.

실험 결과

연구 질문

• RQ1 어떻게 가짜 뉴스 탐지 모델이 논리적 절 표현을 통해 높은 정확도를 유지하면서도 해석 가능성을 확보할 수 있는가?
• RQ2 Tsetlin Machine 프레임워크는 일반 및 부정된 단어 리터럴을 사용하여 가짜 뉴스의 언어적 및 의미적 패턴을 효과적으로 학습하고 표현할 수 있는가?
• RQ3 분류 신뢰도 기반의 신뢰도 점수 기반 평가가 개별 가짜 뉴스 항목의 평가를 어떻게 향상시키는가?
• RQ4 F1 점수 및 해석 가능성 측면에서 TM 프레임워크는 BERT나 XLNet과 같은 블랙박스 모델보다 어느 정도 뛰어나게 성능을 발휘하는가?
• RQ5 일반 및 부정된 특징을 조합한 비단조화적 절은 모델의 분류 능력과 인간이 이해할 수 있는 추론 능력을 어떻게 향상시키는가?

주요 결과

• TM 프레임워크는 PolitiFact 및 GossipCop 데이터셋 모두에서 이전에 발표된 기준 모델들보다 최소 5% 높은 정확도를 달성한다.
• 모델은 F1 점수에서 BERT와 XLNet을 능가하여, 불균형하거나 미묘한 탐지 작업에서 뛰어난 성능을 보여준다.
• 신뢰도 점수 메커니즘은 분류 신뢰도 기반으로 가짜 뉴스를 순위 매김할 수 있도록 하여 위험 평가를 지원한다.
• 사례 연구에서 절이 자주 부정된 리터럴(예: ¬trump)을 포착하고 있음을 확인했으며, 이는 진실된 뉴스와 가짜 뉴스의 특징을 대비시켜 구분 능력을 향상시킨다.
• 절 내 상위로 포착된 리터럴에는 'trump', 'rumors', 'gossip', 'source'와 같은 고대비 단어들이 포함되어 있어 강력한 구분 능력을 나타낸다.
• 분류 결정이 고립된 단어가 아니라 절 내 여러 리터럴의 공동 기여에 기반한다는 점을 통해 모델의 해석 가능성은 입증되었다.