[论文解读] Constrained Monotonic Neural Networks

Davor Runje, Sharath M Shankaranarayana|arXiv (Cornell University)|May 24, 2022

Neural Networks and Applications被引用 6

一句话总结

本文提出了一种新颖的约束单调神经网络架构，使全连接层能够使用非饱和激活函数（如ReLU）建模任意单调函数。通过引入两种派生的单调激活函数并约束权重，该方法在显著减少参数量且不增加训练复杂度的情况下，实现了最先进的准确率，同时保证了单调性，并能逼近ℝⁿ紧子集上的任意连续单调函数。

ABSTRACT

Wider adoption of neural networks in many critical domains such as finance and healthcare is being hindered by the need to explain their predictions and to impose additional constraints on them. Monotonicity constraint is one of the most requested properties in real-world scenarios and is the focus of this paper. One of the oldest ways to construct a monotonic fully connected neural network is to constrain signs on its weights. Unfortunately, this construction does not work with popular non-saturated activation functions as it can only approximate convex functions. We show this shortcoming can be fixed by constructing two additional activation functions from a typical unsaturated monotonic activation function and employing each of them on the part of neurons. Our experiments show this approach of building monotonic neural networks has better accuracy when compared to other state-of-the-art methods, while being the simplest one in the sense of having the least number of parameters, and not requiring any modifications to the learning procedure or post-learning steps. Finally, we prove it can approximate any continuous monotone function on a compact subset of $\mathbb{R}^n$.

研究动机与目标

• 为解决在医疗保健和金融等关键领域中强制神经网络单调性的问题，这些领域对模型可解释性和公平性至关重要。
• 克服传统权重符号约束网络在使用非饱和激活函数（如ReLU）时的局限性，后者仅能将模型限制为凸函数。
• 开发一种方法，在保持单调性的同时，利用标准且广泛采用的激活函数逼近非凸单调函数。
• 与现有最先进方法相比，实现更优性能，同时计算和参数开销最小化。
• 理论上证明所提出的架构能够逼近ℝⁿ紧子集上的任意连续单调函数。

提出的方法

• 从一个基础非饱和单调激活函数（例如ReLU）派生出两种新的单调激活函数，确保单调性的同时支持非凸函数逼近。
• 通过在同一层内对不同神经元子集应用原始激活函数和两种派生激活函数，构建约束单调的全连接层。
• 通过将层内所有权重约束为非负（针对非递减特征），确保输出始终保持单调，无论激活函数如何选择。
• 使用标准反向传播和梯度下降进行训练，无需额外正则化、损失函数修改或后处理步骤。
• 确保网络架构可作为标准全连接层的即插即用替代品，保持训练简便性和推理高效性。
• 证明该架构能够逼近ℝⁿ紧子集上任意连续单调函数，适用于广泛的一类非饱和激活函数。

实验结果

研究问题

• RQ1 使用非饱和激活函数（如ReLU）的单调神经网络能否逼近非凸单调函数？
• RQ2 所提出的方法在准确率和参数效率方面是否优于现有最先进单调神经网络？
• RQ3 该方法是否能保证单调性，而无需额外的训练过程或后处理步骤？
• RQ4 与COMET和Certified等替代方法相比，该架构在计算复杂度和模型大小方面表现如何？
• RQ5 所提出方法在理论上是否具备逼近ℝⁿ紧子集上任意连续单调函数的能力？

主要发现

• 与COMET和Min-Max Net等最先进方法相比，该方法在分类任务中实现了更优的测试准确率，在回归任务中实现了更低的均方误差（MSE）和均方根误差（RMSE）。
• 模型使用的参数量比COMET和Certified等替代方法少几个数量级——最多减少两个数量级，显著降低了内存占用和推理成本。
• 该方法在参数更少、训练过程更简单的情况下，性能优于Min-Max Network和Deep Lattice Network（DLN）。
• 通过权重约束和激活函数设计，单调性在构造过程中即被保证，无需在训练期间采用迭代或启发式方法强制执行。
• 模型在十次随机运行中表现出一致的性能，报告了最佳五次结果的均值和标准差，表明其具有高度可重复性和稳定性。
• 理论分析证明，该架构能够逼近ℝⁿ紧子集上的任意连续单调函数，确立了其对单调函数的通用逼近能力。