[论文解读] Certified Monotonic Neural Networks

Xingchao Liu, Xing Han+2 more|arXiv (Cornell University)|Nov 20, 2020

Adversarial Robustness in Machine Learning被引用 31

一句话总结

提出一种基于验证的框架，通过将单调性检查表述为混合整数线性程序（MILP），在选定输入上对神经网络进行带有认证单调性的训练。该方法能够学习具有单调性保证的灵活架构，并在准确性和可解释性方面相对于现有单调模型表现出更优的性能。

ABSTRACT

Learning monotonic models with respect to a subset of the inputs is a desirable feature to effectively address the fairness, interpretability, and generalization issues in practice. Existing methods for learning monotonic neural networks either require specifically designed model structures to ensure monotonicity, which can be too restrictive/complicated, or enforce monotonicity by adjusting the learning process, which cannot provably guarantee the learned model is monotonic on selected features. In this work, we propose to certify the monotonicity of the general piece-wise linear neural networks by solving a mixed integer linear programming problem.This provides a new general approach for learning monotonic neural networks with arbitrary model structures. Our method allows us to train neural networks with heuristic monotonicity regularizations, and we can gradually increase the regularization magnitude until the learned network is certified monotonic. Compared to prior works, our approach does not require human-designed constraints on the weight space and also yields more accurate approximation. Empirical studies on various datasets demonstrate the efficiency of our approach over the state-of-the-art methods, such as Deep Lattice Networks.

研究动机与目标

• 在公平性、可解释性和泛化性方面阐明在机器学习模型中单调性需求的动机。
• 引入一种基于验证的方法，为分段线性神经网络（如 ReLU）认证单调性。
• 开发一种学习算法，通过正则化逐步强化单调性，直到获得认证为止。
• 通过逐层分解将该方法扩展到更深的网络，以保持可控的验证难度。
• 展示在准确性、可解释性和鲁棒性方面相对于现有单调方法的经验提升。

提出的方法

• 使用分段线性激活（ReLU）将单调性验证表述为 MILP。
• 通过求解包含 ReLU 行为的 MILP 约束的最大化问题，在某一点对单独的单调性进行认证。
• 通过对梯度进行优化并将指示条件转化为 MILP 约束来验证全局单调性。
• 使用单调性正则化 R(f) 对在单调特征上的负偏导数进行惩罚来训练网络，直到认证前逐步增加惩罚（步骤1和步骤2）。
• 通过将深度网络分解为两层块并对每个块强制单调性，同时进行逐层正则化 R̃(f)。
• 使用现成的 MILP 求解器（例如 Gurobi），并就验证时间和可扩展性提供渐近见解。

实验结果

研究问题

• RQ1 是否可以对任意神经网络（不受架构限制）实现对其对某些输入子集的单调性认证？
• RQ2 如何在输入域全局对 ReLU 网络验证单调性？
• RQ3 交替使用单调性正则化和 MILP 验证的训练方案是否能产生单调且准确的模型？
• RQ4 对深度网络进行逐层分解是否在实践中是一种可行且有效的单调性认证方法？
• RQ5 与现有方法相比，经过认证的单调网络在准确性、参数效率、可解释性、鲁棒性方面的经验收益是什么？

主要发现

• 所提出的基于 MILP 的验证可以对分段线性网络进行单调性认证，并在存在时检测单调性违规（对抗样本）。
• 结合单调性正则化与迭代验证的学习可产生单调网络，其测试准确性更高，参数数量更少，优于现有方法（如 Deep Lattice Network、Min-Max Network）。
• 分层分解通过确保每个两层块单调，使深度网络的可扩展验证成为可能，从而实现实际认证。
• 在数据集（COMPAS、Blog Feedback、Loan Defaulter、Chest X-Ray）上的实证结果显示，该方法在准确性上通常优于基线，有时还能减少参数量。
• 单调网络在对抗攻击的鲁棒性方面可能得到提升，并产生可解释的表示（如 MNIST 上的单调卷积网络）。