[论文解读] An interpretable neural network model through piecewise linear approximation

Mengzhuo Guo, Qingpeng Zhang+2 more|arXiv (Cornell University)|Jan 20, 2020

Neural Networks and Applications参考文献 8被引用 7

一句话总结

该论文提出PiLiD，一种混合神经网络模型，结合分段线性逼近与多层感知机，在Wide & Deep框架下实现高预测精度与内在可解释性。通过可学习的分段线性函数显式建模特征贡献，该模型在基准数据集上保持最先进性能的同时，提供可解释的特征形状。

ABSTRACT

Most existing interpretable methods explain a black-box model in a post-hoc manner, which uses simpler models or data analysis techniques to interpret the predictions after the model is learned. However, they (a) may derive contradictory explanations on the same predictions given different methods and data samples, and (b) focus on using simpler models to provide higher descriptive accuracy at the sacrifice of prediction accuracy. To address these issues, we propose a hybrid interpretable model that combines a piecewise linear component and a nonlinear component. The first component describes the explicit feature contributions by piecewise linear approximation to increase the expressiveness of the model. The other component uses a multi-layer perceptron to capture feature interactions and implicit nonlinearity, and increase the prediction performance. Different from the post-hoc approaches, the interpretability is obtained once the model is learned in the form of feature shapes. We also provide a variant to explore higher-order interactions among features to demonstrate that the proposed model is flexible for adaptation. Experiments demonstrate that the proposed model can achieve good interpretability by describing feature shapes while maintaining state-of-the-art accuracy.

研究动机与目标

• 解决事后可解释性方法的局限性，后者会产生不一致的解释，并为简化而牺牲预测精度。
• 开发一种基于模型的可解释性方法，在训练过程中将可解释性直接嵌入模型结构。
• 在不依赖外部代理模型的前提下，实现显式、人类可读的特征贡献形状（例如非线性、分段关系）。
• 通过集成深度神经网络组件捕捉复杂特征交互，保持高预测性能。
• 通过变体PiLiB展示灵活性，该变体可捕捉高阶特征交互，同时保持可解释性。

提出的方法

• 该模型采用Wide & Deep架构，结合分段线性组件（用于可解释性）与深度神经网络组件（用于表达能力）。
• 分段线性组件使用可学习的节点和斜率来逼近复杂、非线性的特征贡献，从而实现特征形状的显式可视化。
• 深度组件采用多层感知机（MLP）来建模高阶特征交互，提升预测精度。
• 两个组件通过端到端反向传播联合训练，确保可解释性与预测性能的一致性。
• 该模型的可解释性是内在的——特征形状直接来自训练后的分段线性权重，而非事后分析。
• 一种变体PiLiB通过将分段线性逼近应用于交互项，扩展了模型以捕捉更高阶交互。

实验结果

研究问题

• RQ1 混合神经网络模型是否能在不依赖事后解释方法的前提下，同时实现高预测精度与内在可解释性？
• RQ2 与线性或非线性黑箱模型相比，分段线性逼近如何提升特征贡献的可解释性？
• RQ3 该模型在提供显式、可视化特征形状的同时，能在多大程度上保持最先进性能？
• RQ4 该模型是否可扩展以捕捉更高阶特征交互，同时保持可解释性？
• RQ5 在不同数据规模和特征维度下，该模型的可解释性与性能增益有多强鲁棒性？

主要发现

• PiLiD模型在所有测试数据集（包括Bike Sharing、Bank Marketing、Spambase和SkillCraft）上均达到最先进AUC性能，且在较大数据集上的AUC值始终高于0.90。
• 在包含N=15000样本的Bike Sharing数据集上，PiLiD-20的AUC达到0.9215 ± 0.0071，优于MLP基线（0.9211 ± 0.0048），同时提供完整可解释性。
• 该模型的分段线性组件成功捕捉了复杂、非线性的特征关系——例如非单调或分段模式——使其具有视觉可解释性。
• PiLiB变体成功建模了高阶交互，证明了该模型在应对更复杂可解释性需求时的可扩展性。
• 联合训练机制确保可解释性与性能之间不存在权衡，因为分段线性组件在不损害精度的前提下增强了表达能力。
• 与事后方法相比，PiLiD避免了矛盾的解释，并消除了对重新训练代理模型的需求，提供了稳定且一致的解释。