[论文解读] Interpretation of Deep Temporal Representations by Selective Visualization of Internally Activated Nodes

Sohee Cho, Ginkyeng Lee+2 more|arXiv (Cornell University)|Apr 27, 2020

Explainable Artificial Intelligence (XAI)参考文献 29被引用 7

一句话总结

该论文提出CPHAP框架，通过识别并可视化激活单个通道的代表性时间模式，实现对深层时间神经网络的解释，而无需依赖人工标注的分割。通过聚类高度激活区域并量化其不确定性，CPHAP使用户能够理解哪些输入模式驱动了通道响应，并在扰动分析中表现出优于LRP和随机选择的鲁棒性。

ABSTRACT

Recently deep neural networks demonstrate competitive performances in classification and regression tasks for many temporal or sequential data. However, it is still hard to understand the classification mechanisms of temporal deep neural networks. In this paper, we propose two new frameworks to visualize temporal representations learned from deep neural networks. Given input data and output, our algorithm interprets the decision of temporal neural network by extracting highly activated periods and visualizes a sub-sequence of input data which contributes to activate the units. Furthermore, we characterize such sub-sequences with clustering and calculate the uncertainty of the suggested type and actual data. We also suggest Layer-wise Relevance from the output of a unit, not from the final output, with backward Monte-Carlo dropout to show the relevance scores of each input point to activate units with providing a visual representation of the uncertainty about this impact.

研究动机与目标

• 为解决深层时间神经网络的可解释性问题，特别是针对缺乏人工标注分割的时间序列数据。
• 识别并可视化卷积神经网络中用于序列数据的各个通道所激活的代表性时间模式。
• 量化这些模式的不确定性，以评估新输入是否与训练中常见观察到的模式一致。
• 提供一种逐通道的可视化框架，使用户能够直观理解时间模型内部特征学习机制。

提出的方法

• 通过分析隐藏层中通道激活情况，识别输入序列中高度激活的时间区域。
• 应用聚类方法将相似激活区域分组，为每个通道提取通用且具有代表性的时序模式。
• 计算每个聚类的不确定性，以指示激活对应通道的输入形状的变异性。
• 通过保留选定区域并测量噪声下通道激活的变化，利用扰动分析评估鲁棒性。
• 通过向输入数据施加高斯、反向和零扰动，将性能与LRP和随机选择进行对比。
• 该框架可实现跨不同层的通道特异性可视化，展示低层次特征与高层次趋势如何被捕捉。

实验结果

研究问题

• RQ1 如何在不依赖人工标注分割的情况下，识别并可视化深层时间神经网络中激活单个通道的代表性时间模式？
• RQ2 与基于显著性的选择相比，所选时间区域对通道激活在输入扰动下的鲁棒性贡献如何？
• RQ3 聚类成员关系中的不确定性如何帮助用户评估新输入模式是否与训练数据中观察到的模式一致？
• RQ4 通道特异性可视化能否提升时间序列深度学习模型中时间表征的可解释性？

主要发现

• 在高斯和反向扰动下，CPHAP在保持通道激活鲁棒性方面优于LRP和随机选择，激活变化显著更低。
• 在Uwave数据集上，零扰动下80%的扰动情形中，CPHAP的激活差异低于LRP，表明其区域选择更具优势。
• 该框架成功识别出驱动通道响应的关键时间子序列，当保留CPHAP选择的区域时，激活变化仅略有增加。
• 每个聚类的不确定性估计为判断新输入是否可能与训练期间观察到的模式相似提供了有意义的洞察。
• 扰动分析证实，保留由CPHAP选择的区域可带来比保留显著性得分选择点更稳定的通道激活。
• 该方法实现了可解释的、逐通道的时间表征可视化，揭示了深度网络学习序列特征的机制。