[论文解读] Enhancing Explainability of Neural Networks through Architecture Constraints

Zebin Yang, Aijun Zhang+1 more|arXiv (Cornell University)|Jan 12, 2019

Machine Learning and ELM参考文献 36被引用 8

一句话总结

本文提出了一种可解释神经网络（xNN），通过架构约束提升模型可解释性：稀疏加法子网络、正交投影索引和光滑函数逼近。通过强制实现稀疏性、正交性和光滑性，xNN在保持竞争性预测精度的同时，能够清晰解释特征效应，具备理论可辨识性，并在模拟数据和真实数据中得到实证验证。

ABSTRACT

Prediction accuracy and model explainability are the two most important objectives when developing machine learning algorithms to solve real-world problems. The neural networks are known to possess good prediction performance, but lack of sufficient model interpretability. In this paper, we propose to enhance the explainability of neural networks through the following architecture constraints: a) sparse additive subnetworks; b) projection pursuit with orthogonality constraint; and c) smooth function approximation. It leads to an explainable neural network (xNN) with the superior balance between prediction performance and model interpretability. We derive the necessary and sufficient identifiability conditions for the proposed xNN model. The multiple parameters are simultaneously estimated by a modified mini-batch gradient descent method based on the backpropagation algorithm for calculating the derivatives and the Cayley transform for preserving the projection orthogonality. Through simulation study under six different scenarios, we compare the proposed method to several benchmarks including least absolute shrinkage and selection operator, support vector machine, random forest, extreme learning machine, and multi-layer perceptron. It is shown that the proposed xNN model keeps the flexibility of pursuing high prediction accuracy while attaining improved interpretability. Finally, a real data example is employed as a showcase application.

研究动机与目标

• 解决深度神经网络中高预测精度与模型可解释性之间的矛盾。
• 开发一种内在可解释的神经网络架构，避免使用事后解释方法。
• 将结构约束——稀疏性、正交性和光滑性——整合到神经网络设计中，以增强透明度。
• 确保在所提架构下模型组件的理论可辨识性。
• 在多样化数据场景中展示xNN在保持可解释性的同时具备与竞争模型相当的预测精度。

提出的方法

• 将xNN构建为前馈网络，其中每个隐藏单元对应一个由子网络表示的岭函数，从而实现整体函数的可加分解。
• 通过L1正则化对投影权重施加稀疏性，以促进特征选择并简化解释。
• 在优化过程中使用Cayley变换强制投影向量之间的正交性，以减少子网络间的混淆。
• 通过正则化对岭函数施加光滑性约束，以确保函数关系的稳定与可解释。
• 使用改进的随机小批量梯度下降结合反向传播和Cayley变换，同时估计所有参数，以保持正交性。
• 推导在所提约束下模型组件的必要且充分可辨识条件。

实验结果

研究问题

• RQ1 能否有效将稀疏性、正交性和光滑性等架构约束整合到神经网络中，以增强内在可解释性？
• RQ2 与标准深度学习模型（如MLP和ELM）相比，所提出的xNN模型是否保持了具有竞争力的预测性能？
• RQ3 在复杂高维数据中，这些约束在多大程度上提升了特征效应的可解释性？
• RQ4 在所提架构和约束下，模型组件（岭函数和投影向量）是否可辨识？
• RQ5 xNN在真实世界数据中作为复杂非线性关系的可解释代理模型表现如何？

主要发现

• 所提出的xNN模型在六个模拟场景中均实现了与最先进模型（如多层感知机、极限学习机和随机森林）相当的预测精度。
• 该模型的可加结构结合稀疏、正交和光滑的组件，即使在高维设置下也能清晰解释单个特征的贡献。
• 在特定特征值条件下，建立了岭函数和投影向量的理论可辨识性，确保模型组件可唯一恢复。
• 实证结果表明，当真实数据生成过程近似可加时，xNN能有效捕捉主效应，并在复杂情况下作为可靠的可解释代理模型。
• 优化过程中使用Cayley变换成功保持了投影向量的正交性，提升了模型稳定性和可解释性。
• 在真实世界数据示例中，xNN展现出优异的性能和可解释性，支持其在金融和医疗等受监管领域中的可行性。