[论文解读] Neural Additive Models: Interpretable Machine Learning with Neural Nets

Rishabh Agarwal, Melnick, Levi+5 more|arXiv (Cornell University)|Apr 29, 2020

Explainable Artificial Intelligence (XAI)参考文献 37被引用 121

一句话总结

NAMs 将加性模型可解释性与神经网络相结合，在与 GAMs 相当的准确性和相对于可理解基线的强大表现之间实现竞争，同时实现多任务与可微分、模块化的解释。

ABSTRACT

Deep neural networks (DNNs) are powerful black-box predictors that have achieved impressive performance on a wide variety of tasks. However, their accuracy comes at the cost of intelligibility: it is usually unclear how they make their decisions. This hinders their applicability to high stakes decision-making domains such as healthcare. We propose Neural Additive Models (NAMs) which combine some of the expressivity of DNNs with the inherent intelligibility of generalized additive models. NAMs learn a linear combination of neural networks that each attend to a single input feature. These networks are trained jointly and can learn arbitrarily complex relationships between their input feature and the output. Our experiments on regression and classification datasets show that NAMs are more accurate than widely used intelligible models such as logistic regression and shallow decision trees. They perform similarly to existing state-of-the-art generalized additive models in accuracy, but are more flexible because they are based on neural nets instead of boosted trees. To demonstrate this, we show how NAMs can be used for multitask learning on synthetic data and on the COMPAS recidivism data due to their composability, and demonstrate that the differentiability of NAMs allows them to train more complex interpretable models for COVID-19.

研究动机与目标

• 在高风险领域（医疗、金融、司法）中为可解释的高性能模型的需求提供动机。
• 提出神经性添加模型（NAMs），它学习特征特异性神经网络的线性组合以形成广义加性模型（GAM）。
• 展示 NAMs 在表格数据集上的准确性与最先进 GAMs 相当并且胜过常见的可理解基线。
• 展示 NAMs 在多任务学习和可微分、可解释的模型组件方面的扩展性，以用于如 COVID-19 治疗建模等应用。

提出的方法

• NAMs 学习特征特异性的神经网络的线性组合，每个网络专注于一个输入特征，形成 g(E[y]) = β + sum_i f_i(x_i)，其中 f_i 由神经网络建模。
• 每个 f_i 通过反向传播联合训练，可以建模任意复杂的形状。
• 引入 ExU 隐藏单元以通过计算 h(x) = f(e^w * (x - b)) 来学习锯齿状、跳跃式的一维函数。
• 使用 ReLU-_n 激活和正则化（ dropout、权重衰减等）来控制过拟合并鼓励更现实的形状函数。
• NAMs 具有可微分性和模块化特性，使多任务扩展和跨任务的组合成为可能。
• 该方法强调可视化的形状函数 f_i(x_i) 作为 NAMs 如何计算预测的精确描述。

实验结果

研究问题

• RQ1 NAMs 是否能够在保持表格数据可解释性的同时实现有竞争力的预测准确性？
• RQ2 在标准数据集上，NAMs 与逻辑回归/线性模型、决策树、EBMs、XGBoost 和 DNNs 的比较如何？
• RQ3 NAMs 能否扩展到多任务学习并保持可解释性？
• RQ4 ExU 单元在建模锯齿状、现实世界的形状函数中起到什么作用，应该如何正则化？

主要发现

• NAMs 实现了有竞争力的准确性，常常超过逻辑回归/线性回归与 CART，并在基准数据集上接近最先进的 GAMs 和 EBMs 的水平。
• NAMs 提供可解释的、按特征的形状图，能够精确描述如何计算预测，从而实现清晰的偏差检测和去偏（例如 COMPAS 中的种族）。
• ExU 单元使 NAMs 能够比标准单元更有效地建模锯齿状、跳跃函数；适当的初始化和 ReLU-n 激活有助于捕捉尖锐变化。
• 多任务 NAMs 提升了预测性能，并允许任务特定的形状函数，在共享子网络的同时保持可解释性。
• 在 COMPAS 上，多任务 NAMs 揭示了性别特异性的关系，并通过检查和调整特征贡献来实现去偏的路径，同时保持整体准确性。
• NAMs 具有可微分性，能够用作个性化治疗策略（如 COVID-19）的参数生成器，并集成到可微分流程中。