[论文解读] Interpretable Deep Convolutional Neural Networks via Meta-learning

Xuan Liu, Xiaoguang Wang+1 more|arXiv (Cornell University)|Feb 2, 2018

Explainable Artificial Intelligence (XAI)参考文献 15被引用 11

一句话总结

该论文提出CNN-INTE，一种元学习方法，通过聚类和随机森林对深层卷积神经网络（CNNs）的隐藏层表征进行建模，以实现对所有测试样本的全局、忠实且可视化的分类决策解释，而无需牺牲模型准确性。该方法利用决策树追踪每个类别预测中激活值的特征级分离。

ABSTRACT

Model interpretability is a requirement in many applications in which crucial decisions are made by users relying on a model's outputs. The recent movement for "algorithmic fairness" also stipulates explainability, and therefore interpretability of learning models. And yet the most successful contemporary Machine Learning approaches, the Deep Neural Networks, produce models that are highly non-interpretable. We attempt to address this challenge by proposing a technique called CNN-INTE to interpret deep Convolutional Neural Networks (CNN) via meta-learning. In this work, we interpret a specific hidden layer of the deep CNN model on the MNIST image dataset. We use a clustering algorithm in a two-level structure to find the meta-level training data and Random Forest as base learning algorithms to generate the meta-level test data. The interpretation results are displayed visually via diagrams, which clearly indicates how a specific test instance is classified. Our method achieves global interpretation for all the test instances without sacrificing the accuracy obtained by the original deep CNN model. This means our model is faithful to the deep CNN model, which leads to reliable interpretations.

研究动机与目标

• 为解决深度学习中可解释性的关键挑战，特别是在医疗保健和刑事司法等高风险领域，其中模型决策必须可解释。
• 提出一种方法，通过分析隐藏层表征来解释深层CNN的内部机制，而非将其视为黑箱。
• 在保持原始CNN高准确率的同时，提供可靠且人类可理解的分类行为解释。
• 实现对所有测试样本的全局解释，而非仅针对单个预测的局部近似。
• 开发一种可扩展的TensorFlow工具，用于在大规模数据上解释深度学习模型。

提出的方法

• 应用两级k-means聚类算法，从原始CNN的隐藏层激活中识别元级别的训练数据。
• 使用随机森林作为基模型，生成用于解释的元级别测试数据。
• 在元级别训练数据上训练决策树，以建模特征值与类别预测之间的关系。
• 通过绘制每个节点的激活值，可视化决策树中的分类路径，并对比真实类别与假设类别的激活情况。
• 使用颜色编码矩形突出显示每个决策节点处真实类别与假设类别激活的可分性（绿色表示可分，红色表示重叠）。
• 通过元学习将输入特征映射到学习到的表征，将解释扩展至任意隐藏层。

实验结果

研究问题

• RQ1 如何在不损害预测准确性的情况下，解释深层CNN隐藏层的内部决策过程？
• RQ2 我们能否提供全局而非局部的分类决策解释，覆盖所有测试实例？
• RQ3 如何可视化导致深层CNN中特定类别预测的序列化基于特征的分离过程？
• RQ4 元学习技术能否用于构建忠实且可扩展的深度学习模型解释框架？
• RQ5 如何确保可解释性既对人类可理解，又忠实于原始模型的行为？

主要发现

• 该方法通过在保持原始CNN准确率的同时，实现对分类决策的可视化、逐层分析，从而实现忠实解释。
• 解释具有全局性，适用于整个特征空间中的所有测试样本，而不仅限于局部区域。
• 可视化图示清晰显示了在每个决策节点处真实类别与假设类别激活的可分性，对于正确分类的样本，可分性在决策树的第4层得到确认。
• 对于正确分类的样本'True1'，真实类别（3）在第4个决策节点即被成功分离，与其他所有类别无激活重叠。
• 该方法能识别误分类的原因，例如真实类别与假设类别激活的持续重叠，如在'Wrong1'样本中观察到的可分性失败现象。
• 该方法具备可扩展性，并在TensorFlow中实现，支持大规模数据上的部署，弥补了先前工作（如LIME）中存在可扩展性缺口的问题。