[論文レビュー] Explainable Tsetlin Machine framework for fake news detection with credibility score assessment

Bimal Bhattarai, Ole‐Christoffer Granmo+1 more|arXiv (Cornell University)|May 19, 2021

Misinformation and Its Impacts参考文献 35被引用数 21

ひとこと要約

本稿では、論理的節を用いてテキスト内の語彙的・意味的パターンを捉えることで、包括的かつ局所的な解釈可能性を実現する、説明可能なTsetlin Machine（TM）フレームワークを提案する。このモデルは、先行研究のベースラインより少なくとも5%高い正答率を達成し、F1スコアにおいてBERTやXLNetを上回りながら、節レベルの特徴分析により透明性を維持する。

ABSTRACT

The proliferation of fake news, i.e., news intentionally spread for misinformation, poses a threat to individuals and society. Despite various fact-checking websites such as PolitiFact, robust detection techniques are required to deal with the increase in fake news. Several deep learning models show promising results for fake news classification, however, their black-box nature makes it difficult to explain their classification decisions and quality-assure the models. We here address this problem by proposing a novel interpretable fake news detection framework based on the recently introduced Tsetlin Machine (TM). In brief, we utilize the conjunctive clauses of the TM to capture lexical and semantic properties of both true and fake news text. Further, we use the clause ensembles to calculate the credibility of fake news. For evaluation, we conduct experiments on two publicly available datasets, PolitiFact and GossipCop, and demonstrate that the TM framework significantly outperforms previously published baselines by at least $5\%$ in terms of accuracy, with the added benefit of an interpretable logic-based representation. Further, our approach provides higher F1-score than BERT and XLNet, however, we obtain slightly lower accuracy. We finally present a case study on our model's explainability, demonstrating how it decomposes into meaningful words and their negations.

研究の動機と目的

• 深層学習ベースのフェイクニュース検出モデルにおける解釈可能性の欠如に対処すること。
• 人間が読める節を用いて分類意思決定を説明する透明性のある論理的フレームワークを構築すること。
• 分類の信頼性に基づいて、個々のフェイクニュースアイテムの信頼性スコアを提供すること。
• 解釈可能性を維持したまま検出性能を向上させ、BERT や XLNet のようなブラックボックスモデルの限界を克服すること。
• TMの節が、普通形と否定形の両方の語のパターンを捉えることで、真贓の区別を強固にする仕組みを示すこと。

提案手法

• Tsetlin Machine（TM）は、ニューステキスト内の語彙的・意味的パターンを、論理的節を用いてモデル化する。
• TMフレームワーク内の各節は、普通形と否定形のリテラルを含み、より良い区別性能を実現する非単調推論を可能にする。
• モデルは、正極性および負極性の両グループにおける活性化された節からの投票を集約してニュースを分類する。
• 信頼性スコアは分類投票の信頼性から導出され、フェイクニュースの信頼性順位付けを可能にする。
• フレームワークは、節に捉えられた語のパターンを活用して、分類に寄与する特徴を示すことで、グローバルな解釈可能性を提供する。
• 事例研究では、節内の上位リテラル（普通形および否定形）を分析し、局所的な解釈可能性と特徴の関連性を示す。

実験結果

リサーチクエスチョン

• RQ1 フェイクニュース検出モデルは、論理的節表現を通じて高い正確性を達成すると同時に、どのようにして解釈可能に保てるか？
• RQ2 Tsetlin Machineフレームワークは、普通形および否定形の語のリテラルを用いて、フェイクニュース内の言語的および意味的パターンを効果的に学習・表現できるか？
• RQ3 分類の信頼性に基づく信頼性スコアは、個々のフェイクニュースアイテムの評価をどのように向上させるか？
• RQ4 F1スコアおよび解釈可能性の観点から、TMフレームワークはBERT や XLNet のようなブラックボックスモデルをどの程度上回るか？
• RQ5 普通形と否定形の特徴を組み合わせた非単調な節は、モデルの区別力と人間が理解できる推論をどの程度向上させるか？

主な発見

• TMフレームワークは、PolitiFactおよびGossipCopの両データセットにおいて、以前に発表されたベースラインより少なくとも5%高い正答率を達成した。
• F1スコアにおいて、BERT や XLNet を上回り、不均衡または微細な検出タスクにおいて優れた性能を示した。
• 信頼性スコアメカニズムにより、分類の信頼性に基づいたフェイクニュースの順位付けが可能となり、リスク評価を支援した。
• 事例研究では、節が頻繁に否定形リテラル（例：¬trump）を捉えていることが判明し、これはフェイクニュースと真実ニュースの特徴を対比することで区別性能を向上させた。
• 節に捕捉された上位のリテラルには、'trump'、'rumors'、'gossip'、'source' といった高コントラスト語が多く含まれており、強い区別力を持つことが示された。
• 分類意思決定が、個々の単語ではなく、節内での複数のリテラルの共同寄与に基づいていることから、モデルの解釈可能性が裏付けられた。