[论文解读] Interpreting Shared Deep Learning Models via Explicable Boundary Trees

Huijun Wu, Chen Wang+3 more|arXiv (Cornell University)|Sep 12, 2017

Explainable Artificial Intelligence (XAI)参考文献 19被引用 5

一句话总结

本文提出可解释边界树（Explicable Boundary Trees, EB-tree），通过披露一组最小且具代表性的训练数据，以高保真度近似模型决策边界，从而增强共享深度学习模型的可信度。EB-tree采用最大间隔边界拼接算法，使用户可通过遍历路径理解预测结果，在仅披露不到0.3%训练数据的情况下实现超过99.5%的保真度，并能有效检测误标数据及新兴新类别。

ABSTRACT

Despite outperforming the human in many tasks, deep neural network models are also criticized for the lack of transparency and interpretability in decision making. The opaqueness results in uncertainty and low confidence when deploying such a model in model sharing scenarios, when the model is developed by a third party. For a supervised machine learning model, sharing training process including training data provides an effective way to gain trust and to better understand model predictions. However, it is not always possible to share all training data due to privacy and policy constraints. In this paper, we propose a method to disclose a small set of training data that is just sufficient for users to get the insight of a complicated model. The method constructs a boundary tree using selected training data and the tree is able to approximate the complicated model with high fidelity. We show that traversing data points in the tree gives users significantly better understanding of the model and paves the way for trustworthy model sharing.

研究动机与目标

• 为解决在隐私或竞争约束下无法披露训练数据时，共享深度神经网络模型缺乏可解释性与可信度的问题。
• 使模型用户能够通过少量具代表性的训练数据子集，理解预测结果的成因，从而揭示决策边界。
• 构建一种紧凑且可解释的结构，以近似复杂DNN的决策边界，而无需访问模型内部结构或完整训练数据。
• 通过支持误标数据检测与新兴新类识别，提升实际模型共享场景的可行性，同时降低计算成本。

提出的方法

• 基于最大间隔的边界拼接算法，选择对形成DNN模型决策边界具有显著贡献的最具代表性训练数据点。
• 将选定的训练数据组织为可解释边界树（EB-tree），其中每个节点代表一个训练样本，树结构基于DNN嵌入特征空间中的距离构建。
• 通过树的遍历，用户可追踪测试样本在代表性训练样本路径上的演变，揭示导致分类决策的特征空间差异。
• 利用EB-tree中训练样本的置信度值来模拟DNN决策边界，避免依赖测试样本扰动，降低对概念漂移的敏感性。
• 对于新类检测，基于进入样本与EB-tree中同遍历路径训练样本之间的距离比较计算p值，采用置信评估方法判断统计上的新颖性。
• EB-tree结构通过仅聚焦于相关训练数据子集，显著减少流式推理过程中的距离计算次数。

实验结果

研究问题

• RQ1 能否使用少量具代表性的训练数据子集，有效解释复杂深度神经网络的决策边界？
• RQ2 基于选定训练数据构建的树结构，相较于标准可解释性方法，如何提升用户对模型预测的理解？
• RQ3 EB-tree在仅披露极少训练数据的前提下，能在多大程度上以高保真度近似DNN的决策边界？
• RQ4 EB-tree结构能否用于检测数据流中的误标训练样本及新兴新类别？

主要发现

• EB-tree在仅使用不到0.3%的训练数据情况下，对原始DNN模型预测的保真度超过99.5%。
• 人工试点研究证实，通过EB-tree遍历测试样本能显著提升用户对DNN预测机制的理解。
• 该方法成功检测出MNIST数据集中误标的样本（例如，被错误标记为'3'或'5'的'9'），这些样本在EB-tree中靠近决策边界。
• 在新兴新类检测方面，EB-tree在流数据中识别未见'9'类样本的准确率达到99.1%，相比基线方法计算成本降低97.1%。
• EB-tree通过仅对同遍历路径的训练样本执行距离计算，实现了高效的新类检测。