[论文解读] A novel method for extracting interpretable knowledge from a spiking neural classifier with time-varying synaptic weights

Abeegithan Jeyasothy, Suresh Sundaram+2 more|arXiv (Cornell University)|Feb 28, 2019

Explainable Artificial Intelligence (XAI)参考文献 14被引用 8

一句话总结

本文提出一种新方法，通过将时域加权突触后电位转换为特征域中的特征强度函数（FSFs），从具有时变突触权重的多类脉冲神经网络（MC-SEFRON）中提取可解释的知识。FSFs 实现了可解释、可靠的分类，且准确率仅平均下降 0.9%（UCI 数据集）和 0.1%（MNIST），表明时域分类与特征域解释之间具有一致性。

ABSTRACT

This paper presents a novel method for information interpretability in an MC-SEFRON classifier. To develop a method to extract knowledge stored in a trained classifier, first, the binary-class SEFRON classifier developed earlier is extended to handle multi-class problems. MC-SEFRON uses the population encoding scheme to encode the real-valued input data into spike patterns. MC-SEFRON is trained using the same supervised learning rule used in the SEFRON. After training, the proposed method extracts the knowledge for a given class stored in the classifier by mapping the weighted postsynaptic potential in the time domain to the feature domain as Feature Strength Functions (FSFs). A set of FSFs corresponding to each output class represents the extracted knowledge from the classifier. This knowledge encoding method is derived to maintain consistency between the classification in the time domain and the feature domain. The correctness of the FSF is quantitatively measured by using FSF directly for classification tasks. For a given input, each FSF is sampled at the input value to obtain the corresponding feature strength value (FSV). Then the aggregated FSVs obtained for each class are used to determine the output class labels during classification. FSVs are also used to interpret the predictions during the classification task. Using ten UCI datasets and the MNIST dataset, the knowledge extraction method, interpretation and the reliability of the FSF are demonstrated. Based on the studies, it can be seen that on an average, the difference in the classification accuracies using the FSF directly and those obtained by MC-SEFRON is only around 0.9% & 0.1\% for the UCI datasets and the MNIST dataset respectively. This clearly shows that the knowledge represented by the FSFs has acceptable reliability and the interpretability of classification using the classifier's knowledge has been justified.

研究动机与目标

• 为解决脉冲神经网络在多分类场景中决策过程不透明的问题，尤其是缺乏可解释性。
• 通过群体编码和时变突触权重，将二分类 SEFRON 分类器扩展至多分类设置。
• 开发一种知识编码方法，确保时域分类决策与特征域解释之间的一致性。
• 通过直接使用 FSFs 进行分类，对提取知识的可靠性进行定量验证。
• 基于突触动力学推导出的特征强度值，提供透明、人类可读的分类器预测解释。

提出的方法

• 利用群体编码将实值输入转换为脉冲模式，将二分类 SEFRON 分类器扩展为多分类版本（MC-SEFRON）。
• 使用基于原始二分类版本改进的脉冲时间依赖可塑性（STDP）规则训练 MC-SEFRON 分类器。
• 基于 Heaviside 函数和突触效能函数的知识编码方法，将时域加权突触后电位转换至特征域。
• 将特征强度函数（FSFs）定义为特征空间中的连续函数，表示每个输入特征对每个输出类的影响。
• 在输入特征值处采样 FSFs，计算每类的聚合特征强度值，进而用于预测输出类别。
• 通过使 FSFs 的数学公式与底层时域动力学对齐，确保时域分类与特征域解释之间的一致性。

实验结果

研究问题

• RQ1 是否可以通过系统化的知识提取方法，使具有时变突触权重的多类脉冲神经网络具备可解释性？
• RQ2 如何将脉冲分类器中突触后电位的时域动态有意义地映射到特征域，以实现可解释性？
• RQ3 以特征强度函数（FSFs）表示的提取知识，在多大程度上保持了原始 MC-SEFRON 分类器的分类性能？
• RQ4 FSFs 是否能够通过量化各特征对各类别的贡献，提供可靠且人类可读的分类决策解释？
• RQ5 在时域做出的分类决策与使用 FSFs 从特征域推导出的解释之间，是否存在一致的对齐？

主要发现

• 所提出的知识提取方法成功地将时域突触动力学映射为特征域中可解释的特征强度函数（FSFs）。
• 在十个 UCI 数据集上，使用提取的 FSFs 进行分类的准确率平均仅比原始 MC-SEFRON 分类器低 0.9%，表明其具有高度可靠性。
• 在 MNIST 数据集上，使用 FSFs 的性能下降仅为 0.1%，表明其与原始分类器的准确率近乎一致。
• 特征强度热图直观展示了输入特征如何正向或负向影响分类结果，其中蓝色（负向）、绿色（中性）和红色（正向）区域表示影响程度。
• FSFs 中的增强与削弱机制可解释正确预测：与类别特异性模板对齐会增加聚合特征强度，而错配则会降低它。
• 该方法确保了时域分类与特征域解释之间的一致性，验证了所提取知识在逻辑上的一致性。