[论文解读] Feature Importance Estimation with Self-Attention Networks

Blaž Škrlj, Sašo Džeroski+2 more|arXiv (Cornell University)|Feb 11, 2020

Explainable Artificial Intelligence (XAI)参考文献 24被引用 27

一句话总结

本文提出自注意力网络（SANs）用于命题（表格）数据的直接特征重要性估计，利用注意力机制识别相关特征及其交互作用。与 ReliefF 和基于随机森林的排序等成熟方法相比，SANs 在高维生物数据集上表现出具有竞争力的性能，并揭示了超越简单成对关系的复杂特征交互作用。

ABSTRACT

Black-box neural network models are widely used in industry and science, yet are hard to understand and interpret. Recently, the attention mechanism was introduced, offering insights into the inner workings of neural language models. This paper explores the use of attention-based neural networks mechanism for estimating feature importance, as means for explaining the models learned from propositional (tabular) data. Feature importance estimates, assessed by the proposed Self-Attention Network (SAN) architecture, are compared with the established ReliefF, Mutual Information and Random Forest-based estimates, which are widely used in practice for model interpretation. For the first time we conduct scale-free comparisons of feature importance estimates across algorithms on ten real and synthetic data sets to study the similarities and differences of the resulting feature importance estimates, showing that SANs identify similar high-ranked features as the other methods. We demonstrate that SANs identify feature interactions which in some cases yield better predictive performance than the baselines, suggesting that attention extends beyond interactions of just a few key features and detects larger feature subsets relevant for the considered learning task.

研究动机与目标

• 开发一种新型神经网络架构，利用注意力机制在命题（表格）数据上直接估计特征重要性。
• 评估 SANs 与 ReliefF、互信息和 Genie3 等成熟特征排序方法在排序质量与预测性能方面的表现。
• 探究注意力机制是否能够检测到传统方法无法捕捉的高阶特征交互作用。
• 在多个算法与数据集之间提供无量纲的特征重要性估计比较。
• 分析 SANs 的理论特性，包括空间与时间复杂度。

提出的方法

• 提出一种专为表格数据设计的新型自注意力网络（SAN）架构，其中注意力权重源自学习得到的注意力矩阵。
• 采用三种不同方法提取特征重要性：全局注意力、逐行 softmax 注意力以及来自注意力矩阵的对角线注意力。
• 将基于注意力的特征重要性得分用于特征排序，并通过在剪枝后的特征子集上使用逻辑回归来评估预测性能。
• 采用 FUJI 评分定量比较不同算法之间特征重要性估计的相似性。
• 在十个真实与合成数据集上端到端训练 SANs，使用标准分类头进行预测，同时利用注意力机制实现可解释性。
• 通过在多个阈值下进行阈值处理，利用下游分类器的性能（F1 分数）评估排序质量。

实验结果

研究问题

• RQ1 神经网络中的自注意力机制能否在命题（表格）数据上有效估计特征重要性，且性能可与成熟方法相媲美？
• RQ2 SANs 的特征重要性估计在相似性与性能上与 ReliefF、互信息和 Genie3 相比如何？
• RQ3 SANs 是否能够检测到能提升预测性能的高阶特征交互作用，而这些交互作用超出了成对或简单特征子集的范围？
• RQ4 数据规模与维度对 SANs 在特征重要性估计中的性能有何影响？
• RQ5 SANs 的理论复杂度与计算成本与传统特征选择方法相比如何？

主要发现

• 在逻辑回归任务中，SANs 在预测性能方面表现具有竞争力，在 dlbcl 数据集（一个高维生物数据集）上优于所有基线方法超过 15%。
• 在较小的数据集（如 biodeg-p2-discrete）上，SANs 表现较差，表明在训练深层注意力机制时存在数据效率的局限性。
• SANs 识别出的顶级特征与 ReliefF 和 Genie3 的结果高度一致，表明不同方法之间具有良好的一致性。
• SANs 检测到有助于提升性能的复杂特征交互作用，表明注意力机制能够捕捉非局部的、高阶的依赖关系。
• FUJI 评分显示 SANs 与 Genie3/ReliefF 之间存在显著相似性，表明基于注意力的重要性计算可能具有非局部性，类似于互信息。
• SANs 在高维数据上表现更优，尤其在 p53 和基因等生物领域中，能够识别出更大且更相关的特征子集。