[论文解读] MonoNet: Towards Interpretable Models by Learning Monotonic Features

An-phi Nguyen, María Rodríguez Martínez|arXiv (Cornell University)|Sep 30, 2019

Explainable Artificial Intelligence (XAI)参考文献 36被引用 5

一句话总结

MonoNet 提出了一种深度学习框架，通过在学习到的特征与模型输出之间强制实施单调性，以提升可解释性。通过在专用层中结构化地嵌入单调性约束，该模型实现了对特征效应的独立推理，在基准数据集上的验证表明，其可解释性优于现有方法。

ABSTRACT

Being able to interpret, or explain, the predictions made by a machine learning model is of fundamental importance. This is especially true when there is interest in deploying data-driven models to make high-stakes decisions, e.g. in healthcare. While recent years have seen an increasing interest in interpretable machine learning research, this field is currently lacking an agreed-upon definition of interpretability, and some researchers have called for a more active conversation towards a rigorous approach to interpretability. Joining this conversation, we claim in this paper that the difficulty of interpreting a complex model stems from the existing interactions among features. We argue that by enforcing monotonicity between features and outputs, we are able to reason about the effect of a single feature on an output independently from other features, and consequently better understand the model. We show how to structurally introduce this constraint in deep learning models by adding new simple layers. We validate our model on benchmark datasets, and compare our results with previously proposed interpretable models.

研究动机与目标

• 解决机器学习中可解释性缺乏严格、公认定义的问题。
• 通过引入单调性约束，减少特征交互，降低模型的不透明性。
• 在深度学习模型中实现人类可模拟性和算法透明性。
• 提供一种结构化、全局的可解释性解决方案，避免后处理解释方法的局限性。
• 弥合神经网络中高预测性能与可解释性之间的差距。

提出的方法

• 提出一种新型神经网络架构 MonoNet，通过结构化层约束，在学习到的特征与模型输出之间强制实现单调关系。
• 采用简单且可微的层，确保输入特征与隐藏表示之间的单调性，保证特征效应始终为正或始终为负。
• 对卷积滤波器的激活图应用最大池化，将其汇总为单一的单调单元，形成分层的可解释特征。
• 采用两阶段解释过程：首先识别与预测相关的高阶单调特征，然后追溯至底层滤波器和激活图。
• 在表格数据（如 adult、random）和图像数据（如 MNIST、mushroom）上验证该方法，采用单调特征排序和分层特征解释。
• 与自解释神经网络（SENN）进行比较，结果表明 MonoNet 在避免局部可解释性约束带来的偏差方面具有优势。

实验结果

研究问题

• RQ1 在特征与输出之间强制实施单调性是否能提升深度学习模型的可解释性？
• RQ2 如何在不牺牲预测性能的前提下，将单调性结构化地嵌入神经网络？
• RQ3 单调特征是否能使人类用户独立于其他特征，对模型决策进行模拟和推理？
• RQ4 与后处理解释方法相比，MonoNet 的方法在稳定性、局部性与可识别性方面表现如何？
• RQ5 分层单调特征在多大程度上能够支持从输入到输出的端到端可解释性？

主要发现

• 通过强制实施单调性，MonoNet 显著提升了可解释性，使用户能够独立于其他特征，推理单个特征的影响。
• 该模型支持分层解释：从高阶单调特征回溯至特定滤波器和激活图，揭示决策根源。
• 在 MNIST 数据集上，MonoNet 通过激活图追溯单调特征，成功识别出误分类样本的特定图像区域。
• 该方法在避免不稳定性、局部性偏差和计算成本方面优于后处理方法，同时保持了全局可解释性。
• 与 SENN 相比，MonoNet 避免了因局部可解释性约束引入的偏差，因其无需通过局部优化学习重要性得分。
• 在基准数据集上的实证结果表明，单调特征学习可生成既准确又可解释的模型，支持在高风险应用中建立信任。