[论文解读] Expressive Monotonic Neural Networks

O. Kitouni, N. S. Nolte+1 more|arXiv (Cornell University)|Jul 14, 2023

Explainable Artificial Intelligence (XAI)Computer Science被引用 3

一句话总结

本文提出了一种表达性强的单调神经网络，通过带有权重约束的残差架构，对任意输入子集强制实现精确单调性，并具备可证明的利普希茨控制。该方法在保持高表达性和可解释性的同时，实现了对粒子物理和社交应用等多样化基准的最先进性能，且计算开销极低，具有出色的鲁棒性。

ABSTRACT

The monotonic dependence of the outputs of a neural network on some of its inputs is a crucial inductive bias in many scenarios where domain knowledge dictates such behavior. This is especially important for interpretability and fairness considerations. In a broader context, scenarios in which monotonicity is important can be found in finance, medicine, physics, and other disciplines. It is thus desirable to build neural network architectures that implement this inductive bias provably. In this work, we propose a weight-constrained architecture with a single residual connection to achieve exact monotonic dependence in any subset of the inputs. The weight constraint scheme directly controls the Lipschitz constant of the neural network and thus provides the additional benefit of robustness. Compared to currently existing techniques used for monotonicity, our method is simpler in implementation and in theory foundations, has negligible computational overhead, is guaranteed to produce monotonic dependence, and is highly expressive. We show how the algorithm is used to train powerful, robust, and interpretable discriminators that achieve competitive performance compared to current state-of-the-art methods across various benchmarks, from social applications to the classification of the decays of subatomic particles produced at the CERN Large Hadron Collider.

研究动机与目标

• 开发一种可证明在指定输入特征上强制实现单调依赖关系的神经网络架构，以确保在关键应用中的可解释性和公平性。
• 将利普希茨约束集成到架构中，以保证在不牺牲模型表达能力的前提下，对输入扰动具有鲁棒性。
• 通过将单调性直接嵌入网络结构，克服现有方法（如启发式正则化或昂贵的认证）的局限性。
• 实现高性能、小尺寸的模型，在保持单调性和鲁棒性的同时，于真实世界和科学基准上达到具有竞争力的准确率。
• 提供一种简单、可扩展且理论基础坚实的单调深度学习解决方案，兼顾实际部署需求。

提出的方法

• 该架构通过一个残差连接连接到一个最小化利普希茨常数为1的全连接网络，通过构造方式确保在任意所需输入子集上实现单调性。
• 通过逐层归一化施加权重约束，以限制利普希茨常数，直接控制模型鲁棒性。
• 采用单位梯度范数的激活函数（如GroupSort），以保持通用逼近能力。
• 网络采用标准优化方法进行端到端训练，且在整个训练过程中保持单调性和利普希茨约束。
• 该架构设计具有高度表达性，除单调性和利普希茨控制外，诱导偏差极小。
• 通过独立的PyTorch包提供轻量级实现，便于集成与复现。

Figure 1: $p$ -norm constrained gradients showing (red) $p=2$ and (green) $p=1$ . The gradient of a function $g({\bm{x}})$ that is Lip p=2 resides within the dashed red line. For a Lip p=1 function, the boundary is the green dashed line. Note that ${\bm{x}}$ is taken to be a row vector. The residual

实验结果

研究问题

• RQ1 深度神经网络架构是否能在保持高表达性和鲁棒性的前提下，对任意输入子集强制实现精确单调性？
• RQ2 与基于正则化或认证的现有方法相比，所提方法在性能、计算成本和可靠性方面表现如何？
• RQ3 小型单调网络在真实世界和科学基准上能达到多大程度的竞争力表现？
• RQ4 通过权重约束集成利普希茨控制是否能在不降低模型准确率的前提下增强鲁棒性？
• RQ5 该架构是否能有效应用于高风险领域，如粒子物理和公平性敏感的决策系统？

主要发现

• 在ChestXRay数据集上，所提方法测试准确率达到(65.44±0.03)%，优于先前最先进方法。
• 在Heart Disease数据集上，模型准确率达到(89.6±1.9)%，显著优于COMET基线的(86±3)%。
• 在Auto MPG回归任务中，模型均方误差为(7.58±1.2)，优于COMET基线的(8.81±1.81)。
• 该架构在MNIST、CIFAR-10和CIFAR-100上对真实数据和随机标签数据均实现了100%的训练准确率，表明其具备强大的有限样本表达能力。
• 即使参数量极少（如“mini”变体），模型仍保持了具有竞争力的性能，表明当单调性通过设计嵌入时，小型网络也可极为高效。
• 该方法已成功部署于CERN的LHCb实验实时数据处理流水线，验证了其在高能物理应用中的实用性。

Figure 2: Our monotonic architecture (green) and an unconstrained network (red) trained on two realizations (purple data points) of a one dimensional dataset. The shaded regions are where training data were absent. Each model is trained using 10 random initialization seeds. The dark lines are averag