[论文解读] Closed-Form Expressions for Global and Local Interpretation of Tsetlin Machines with Applications to Explaining High-Dimensional Data

Christian D. Blakely, Ole‐Christoffer Granmo|arXiv (Cornell University)|Jul 27, 2020

Reinforcement Learning in Robotics参考文献 22被引用 9

一句话总结

本文为Tsetlin Machines（TMs）中的全局和局部可解释性提出了闭式表达式，使在训练过程中可直接从合取子句实时分析特征重要性。该方法实现了类似SHAP的可解释性，在分类和回归任务中保持了具有竞争力的准确性，同时提出了一种新颖的三维聚类方法，用于高维数据可视化，且无需使用代理模型。

ABSTRACT

Tsetlin Machines (TMs) capture patterns using conjunctive clauses in propositional logic, thus facilitating interpretation. However, recent TM-based approaches mainly rely on inspecting the full range of clauses individually. Such inspection does not necessarily scale to complex prediction problems that require a large number of clauses. In this paper, we propose closed-form expressions for understanding why a TM model makes a specific prediction (local interpretability). Additionally, the expressions capture the most important features of the model overall (global interpretability). We further introduce expressions for measuring the importance of feature value ranges for continuous features. The expressions are formulated directly from the conjunctive clauses of the TM, making it possible to capture the role of features in real-time, also during the learning process as the model evolves. Additionally, from the closed-form expressions, we derive a novel data clustering algorithm for visualizing high-dimensional data in three dimensions. Finally, we compare our proposed approach against SHAP and state-of-the-art interpretable machine learning techniques. For both classification and regression, our evaluation show correspondence with SHAP as well as competitive prediction accuracy in comparison with XGBoost, Explainable Boosting Machines, and Neural Additive Models.

研究动机与目标

• 为解决复杂Tsetlin Machine模型中缺乏可扩展、内在可解释性的问题，这些模型依赖于人工检查子句。
• 开发用于局部和全局特征重要性的闭式表达式，确保计算高效，并在学习过程中实时更新。
• 将可解释性扩展至连续特征的特征取值范围，从而实现对数据模式的细粒度洞察。
• 推导一种新颖的聚类算法，利用TM子句结构在三维空间中可视化高维数据。
• 将该方法与SHAP及最先进可解释模型进行对比验证，证明其在准确性与可解释性方面具有竞争力。

提出的方法

• 基于所有子句中的子句权重和特征覆盖范围，提出用于全局特征重要性的闭式表达式。
• 推导出用于局部可解释性的表达式，通过子句层面的贡献量化每个特征对特定预测的贡献。
• 通过评估子句在预定义取值区间的激活情况，为连续特征引入范围重要性度量。
• 利用全局重要性中排名靠前的子句中心点，通过算法1定义新型三维聚类算法的聚类中心。
• 利用TM的内在子句结构，在无需代理模型或额外推理层的情况下，实现端到端的实时可解释性与聚类。
• 采用带索引的加权TMs以实现高效推理与学习，支持训练过程中动态可解释性。

实验结果

研究问题

• RQ1 能否直接从Tsetlin Machine子句中推导出特征重要性的闭式表达式，以实现实时的全局与局部可解释性？
• RQ2 在TM框架内，如何对连续特征的取值范围进行定量评估，以确定其对预测的重要性？
• RQ3 能否利用训练后TM的子句结构，构建一种新颖且可解释的三维聚类方法，用于高维数据可视化？
• RQ4 所提出的可解释性方法在准确性与一致性方面，与SHAP及其他最先进可解释模型相比表现如何？
• RQ5 可解释性表达式是否可在学习过程中动态更新，从而提供对模型行为演化过程的持续洞察？

主要发现

• 所提出的全局与局部可解释性闭式表达式在多个数据集上与SHAP值高度一致，验证了其可靠性。
• 基于TM的可解释性方法在预测准确性方面表现优异，与XGBoost、可解释提升机（Explainable Boosting Machines）及神经加法模型相当。
• 新型三维聚类算法通过将子句中心点映射为聚类中心，成功实现了高维数据的可视化，揭示了蛋白质表达数据中的有意义聚类。
• 在小鼠蛋白数据中，SOD1被识别为全局最重要的特征，其主导性在最大聚类中所有观测的局部可解释性输出中均得到一致体现。
• 该方法在各聚类中表现出一致的局部可解释性：SOD1在某一聚类中占主导，CaNA在另一聚类中占主导，Ubiquitin在第三聚类中占主导，结果与生物学合理性相符。
• 该方法可在模型训练过程中实现真正的实时可解释性，支持对模型演化过程中特征重要性变化的动态监控。