[论文解读] Measuring the Novelty of Natural Language Text Using the Conjunctive Clauses of a Tsetlin Machine Text Classifier

Bimal Bhattarai, Ole‐Christoffer Granmo+1 more|arXiv (Cornell University)|Nov 17, 2020

Anomaly Detection Techniques and Applications参考文献 18被引用 4

一句话总结

本文提出了一种新颖且可解释的开放世界文本分类方法，通过利用Tsetlin机（Tsetlin Machine, TM）的合取子句来衡量文本新颖性。通过统计与输入文本匹配的子句数量，该方法生成一个新颖性得分，能够有效区分已知类别与新颖类别，在五个数据集中的三个上优于七个基线方法，同时提供透明的、基于逻辑的预测解释。

ABSTRACT

Most supervised text classification approaches assume a closed world, counting on all classes being present in the data at training time. This assumption can lead to unpredictable behaviour during operation, whenever novel, previously unseen, classes appear. Although deep learning-based methods have recently been used for novelty detection, they are challenging to interpret due to their black-box nature. This paper addresses \emph{interpretable} open-world text classification, where the trained classifier must deal with novel classes during operation. To this end, we extend the recently introduced Tsetlin machine (TM) with a novelty scoring mechanism. The mechanism uses the conjunctive clauses of the TM to measure to what degree a text matches the classes covered by the training data. We demonstrate that the clauses provide a succinct interpretable description of known topics, and that our scoring mechanism makes it possible to discern novel topics from the known ones. Empirically, our TM-based approach outperforms seven other novelty detection schemes on three out of five datasets, and performs second and third best on the remaining, with the added benefit of an interpretable propositional logic-based representation.

研究动机与目标

• 为解决监督文本分类中封闭世界假设的局限性，即面对新颖类别时行为不可预测的问题。
• 开发一种可解释的新颖性检测机制，能够在推理阶段识别出之前未见过的类别。
• 利用Tsetlin机的命题逻辑结构，实现文本分类中具有实际意义且人类可读的模式表示。
• 在保持可解释性的前提下，实现对文本中新颖主题的鲁棒检测，克服深度学习模型的黑箱特性。

提出的方法

• 该方法使用训练好的Tsetlin机的合取子句来表示已知训练数据中的频繁且显著的模式。
• 通过统计给定输入文本激活的子句数量来计算新颖性得分。
• 该得分作为输入与已知类别匹配程度的代理指标，得分越低表示新颖性越高。
• 对新颖性得分应用阈值，将输入分类为已知或新颖类别。
• 为提高鲁棒性，在新颖性得分上训练第二个机器学习分类器，以更好地区分已知与新颖类别。
• 该框架在五个多样化文本数据集上使用TF-IDF向量化、主成分分析（PCA）和标准预处理流程进行评估。

实验结果

研究问题

• RQ1 Tsetlin机的合取子句是否能够有效表示已知主题，从而实现对新颖主题的检测？
• RQ2 基于子句的新颖性评分机制在多类别文本分类中，与已有的异常检测和聚类方法相比表现如何？
• RQ3 Tsetlin机基于逻辑的表示所具备的可解释性，在多大程度上提升了新颖性检测的可靠性？
• RQ4 在已知类别与新颖类别之间存在词汇重叠的数据集中，该方法是否仍能保持高性能？

主要发现

• 在20 Newsgroup和BBC Sports数据集上，基于TM的框架分别取得了82.50%和89.47%的最高准确率，优于所有其他方法。
• 在CMU Movie和Web of Science数据集上，该方法分别位列第二和第三，准确率分别为68.15%和70.37%，仅次于多层感知机（MLP）。
• 在五个数据集中的三个上，该方法超越了基于聚类和异常检测的基线方法，如One-class SVM、孤立森林（Isolation Forest）和K-Means聚类。
• 在已知类别与新颖类别之间具有清晰语义区分的数据集中，该框架表现出更优性能，此时新颖性得分分布良好分离。
• 在Web of Science数据集中，由于已知类别与新颖类别共享大量词汇，该方法被基于距离的方法超越，凸显了词汇重叠场景下的挑战。
• 使用子句激活次数作为新颖性得分，使得已知样本与新颖样本在图3中呈现出清晰的聚类，支持了该方法的判别能力。