[论文解读] How to Incorporate Monotonicity in Deep Networks While Preserving Flexibility?

Akhil Gupta, Naman Shukla+3 more|arXiv (Cornell University)|Sep 24, 2019

Explainable Artificial Intelligence (XAI)参考文献 14被引用 27

一句话总结

该论文提出了一种与模型无关的、基于梯度的逐点损失（PWL）函数，通过在训练过程中惩罚非单调梯度来强制深度神经网络中的部分单调性。与深度格网络（DLN）等结构性方法不同，PWL在保持标准DNN灵活性的同时，在AUC和单调性度量方面实现了相当或更优的性能，从而在不改变网络架构的情况下实现了更平滑、个性化的预测曲线。

ABSTRACT

The importance of domain knowledge in enhancing model performance and making reliable predictions in the real-world is critical. This has led to an increased focus on specific model properties for interpretability. We focus on incorporating monotonic trends, and propose a novel gradient-based point-wise loss function for enforcing partial monotonicity with deep neural networks. While recent developments have relied on structural changes to the model, our approach aims at enhancing the learning process. Our model-agnostic point-wise loss function acts as a plug-in to the standard loss and penalizes non-monotonic gradients. We demonstrate that the point-wise loss produces comparable (and sometimes better) results on both AUC and monotonicity measure, as opposed to state-of-the-art deep lattice networks that guarantee monotonicity. Moreover, it is able to learn differentiated individual trends and produces smoother conditional curves which are important for personalized decisions, while preserving the flexibility of deep networks.

研究动机与目标

• 在不改变网络架构的前提下，将单调性领域知识融入深度神经网络。
• 解决金融和定价等实际应用中模型灵活性与可解释性之间的权衡问题。
• 通过学习每个数据点的差异化单调趋势，实现个性化决策。
• 为深度学习中的软单调性约束提供一种可扩展、透明且可配置的方法。
• 证明基于学习的单调性强制方法在实践中可优于像深度格网络这类刚性、依赖架构的方法。

提出的方法

• 提出一种逐点损失（PWL）函数，用于惩罚指定输入特征方向上的非单调梯度。
• 该损失在反向传播过程中应用，作为软约束，与标准的经验风险损失相结合。
• 该方法使用梯度的有限差分近似来检测并惩罚特征方向上的非单调行为。
• 损失函数可通过一个超参数进行配置，以平衡经验风险最小化与单调性强制。
• 该方法与模型无关，可无缝集成到任何现有的深度神经网络中，无需架构修改。
• 该方法通过学习数据点间差异化的单调趋势，实现了更平滑的条件响应曲线。

实验结果

研究问题

• RQ1 是否可以在不修改模型架构的情况下，有效强制实现深度神经网络中的单调性？
• RQ2 基于梯度的逐点损失与深度格网络等结构性方法相比，在单调性和预测性能方面有何差异？
• RQ3 通过可学习损失实现的软单调性强制是否能保持深度网络的灵活性和个性化能力？
• RQ4 所提出的方法是否能够为每个数据点学习到差异化的单调趋势，从而在实际应用中实现更好的个性化？
• RQ5 在高维真实数据集中，单调性强制与模型泛化能力之间的权衡如何？

主要发现

• 在UCI Adult数据集上，PWL方法实现了0.908的AUC和0.856的单调性度量，尽管AUC和单调性得分略低，但其在个性化趋势区分方面优于DLN。
• 在Airline Ancillary数据集上，PWL实现了0.722的AUC和0.985的单调性度量，AUC优于DLN，同时保持了较高的单调性得分。
• PWL生成了具有连续导数的更平滑条件曲线，相比DLN的分段线性、阶梯状预测，实现了更好的个性化。
• 在Airline Ancillary数据集上，PWL的训练时间显著更短（1.375×10³秒），而DLN为7.770×10³秒。
• PWL方法检测到了数据中被DLN忽略的非单调信号（例如，教育水平与收入之间的相关系数为0.33），原因在于DLN的刚性结构约束。
• 结果表明，通过PWL实现的软单调性强制比硬性结构约束更能平衡领域知识与数据驱动学习。