[论文解读] Multi-Layer Attention-Based Explainability via Transformers for Tabular Data

Andrea Treviño Gavito, Diego Klabjan+1 more|arXiv (Cornell University)|Feb 28, 2023

Explainable Artificial Intelligence (XAI)被引用 4

一句话总结

本文提出了一种基于多层注意力机制的可解释性方法，用于表格数据，采用Transformer模型，将所有层的注意力矩阵映射为图结构，以识别具有影响力的特征组。该方法通过捕捉超越单层注意力的集体特征重要性，提升了可解释性，在解释一致性与跨数据集的一致性方面优于基线方法。

ABSTRACT

We propose a graph-oriented attention-based explainability method for tabular data. Tasks involving tabular data have been solved mostly using traditional tree-based machine learning models which have the challenges of feature selection and engineering. With that in mind, we consider a transformer architecture for tabular data, which is amenable to explainability, and present a novel way to leverage self-attention mechanism to provide explanations by taking into account the attention matrices of all heads and layers as a whole. The matrices are mapped to a graph structure where groups of features correspond to nodes and attention values to arcs. By finding the maximum probability paths in the graph, we identify groups of features providing larger contributions to explain the model's predictions. To assess the quality of multi-layer attention-based explanations, we compare them with popular attention-, gradient-, and perturbation-based explanability methods.

研究动机与目标

• 解决现有Transformer模型在表格数据上缺乏全面、多层可解释性的不足。
• 通过识别有意义的特征组而非单个特征，提升模型可解释性，尤其适用于高维表格数据集。
• 开发一种基于图的方法，整合Transformer所有层的注意力信息，识别影响模型预测的最关键概念。
• 在解释一致性、稳定性和跨数据集的一致性方面，将所提方法与已有的注意力、梯度和扰动基可解释性技术进行比较。
• 通过多次随机运行及成对一致性度量，评估解释的稳定性和可靠性。

提出的方法

• 在表格数据上训练一个多头Transformer，随后通过知识蒸馏将其压缩为单头、多层Transformer，以保留所有层的注意力模式。
• 将所有层的注意力矩阵聚合并转换为图结构，其中特征组为节点，注意力值为加权边。
• 计算图中的最大概率路径，以识别对模型预测最具影响力的特征组。
• 采用学生-教师范式，在保持注意力信息的同时，实现高效的基于图的解释提取。
• 通过方法间的成对一致性度量评估解释，包括样本层面的前1名和前2名概念组一致性。
• 通过测量在相同顶部概念组上达成一致的模型运行比例，评估解释的稳定性。

实验结果

研究问题

• RQ1 与单层注意力相比，整合所有Transformer层的注意力信息在多大程度上提升了解释质量？
• RQ2 多层注意力基解释在识别关键特征组方面，与梯度法和扰动法在多大程度上达成一致？
• RQ3 在多次随机训练运行中，解释的稳定性如何？与现有方法相比，所提方法是否降低了变异性？
• RQ4 在注意力矩阵上进行基于图的路径分析，能否有效识别出语义上有意义且能预测模型决策的概念组？
• RQ5 该方法是否通过聚焦于特征组而非单个特征，显著提升了可解释性，尤其在高维表格数据中？

主要发现

• 所提出的多层注意力（MLA）方法在考虑前两个最佳概念组时，与其他方法的平均成对一致性超过75%，表明其具有极强的一致性。
• MLA与注意力基方法（SA和SH）的一致性高于与局部解释方法（LL）的一致性，表明其与注意力机制具有更好的对齐性。
• 在所有成对比较中，对于前两个最佳概念组，MLA的模式一致性达到92%，展现出高度的鲁棒性与稳定性。
• 稳定性分析显示，MLA在运行间的一致性变异性低于局部解释方法（LL），尤其在CT和RW数据集上表现更优。
• 梯度法与扰动法（SA和SH）在彼此之间表现出更高的相似性，而与注意力基方法差异较大，表明其在特征选择上存在共享偏差。
• 该方法通过识别多个顶级特征组，有效缓解了特征组相关性的影响，降低了对单一、可能任意选择的依赖。