[论文解读] Incorporating Interpretable Output Constraints in Bayesian Neural Networks

Wanqian Yang, Lars Lorch+3 more|arXiv (Cornell University)|Oct 21, 2020

Bayesian Modeling and Causal Inference参考文献 23被引用 6

一句话总结

本文提出输出约束贝叶斯神经网络（OC-BNNs），一种通过基于采样的先验将可解释的、用户指定的输出约束（如临床规则或公平性标准）整合到贝叶斯神经网络中的框架。该方法在保持黑箱推理的同时，确保后验预测满足约束条件，在医疗保健、刑事司法和信用评分任务中均表现出更强的约束遵循能力与更优的不确定性校准效果。

ABSTRACT

Domains where supervised models are deployed often come with task-specific constraints, such as prior expert knowledge on the ground-truth function, or desiderata like safety and fairness. We introduce a novel probabilistic framework for reasoning with such constraints and formulate a prior that enables us to effectively incorporate them into Bayesian neural networks (BNNs), including a variant that can be amortized over tasks. The resulting Output-Constrained BNN (OC-BNN) is fully consistent with the Bayesian framework for uncertainty quantification and is amenable to black-box inference. Unlike typical BNN inference in uninterpretable parameter space, OC-BNNs widen the range of functional knowledge that can be incorporated, especially for model users without expertise in machine learning. We demonstrate the efficacy of OC-BNNs on real-world datasets, spanning multiple domains such as healthcare, criminal justice, and credit scoring.

研究动机与目标

• 解决在传统先验在参数空间中不可解释的情况下，如何将特定领域、可解释的功能性知识（如临床规则或公平性约束）整合到贝叶斯神经网络（BNNs）中的挑战。
• 开发一种概率框架，形式化在贝叶斯设置下对输出约束的推理，确保与不确定性量化的一致性。
• 使不具备机器学习专业知识的领域专家能够直接以函数形式指定有意义的约束。
• 在医疗保健、刑事司法和信用评分等真实世界、高维数据集上，展示 OC-BNN 的实际应用价值。

提出的方法

• 通过在输入空间上评估采样得到的 BNN 输出满足用户定义的输出约束的程度，构建基于采样的先验。
• 该先验为预测结果与指定约束一致的 BNN 参数分配更高的概率，从而有效将后验偏向于满足约束的函数。
• 该框架支持通过共享的约束感知先验，在单任务和多任务场景下实现推理的摊销化。
• 该方法完全兼容黑箱 BNN 推理算法（如随机梯度朗之万动力学，SGLD），支持可扩展训练。
• 约束以输出上的函数条件形式编码，如 $ y \in [a,b] $、单调性或等于已知公式，并在采样过程中进行评估。
• 该方法可推广至回归与分类任务，无需对网络架构进行修改。

实验结果

研究问题

• RQ1 是否能够有效将可解释的输出约束（如临床规则或公平性标准）编码进贝叶斯神经网络，同时不损害不确定性量化？
• RQ2 如何将作为约束表达的功能性知识转化为 BNN 参数上的先验，同时保持对黑箱推理的兼容性？
• RQ3 在医疗保健和刑事司法等真实世界高风险应用中，强制执行输出约束是否能改善模型行为？
• RQ4 与标准 BNN 相比，OC-BNN 框架在预测准确性、不确定性校准和约束满足度方面表现如何？
• RQ5 约束执行机制是否可在多个任务间摊销化，而不会损失保真度或计算可行性？

主要发现

• 在临床行动预测任务中，OC-BNN 的求助成本最低（0.379），优于 BNN（Full）的 0.419 和 BNN（Blind）的 0.529，表明其与真实干预措施的对齐程度更高。
• 在训练数据存在偏见的再犯预测任务中，OC-BNN 有效强制执行了种族公平性约束，纠正了模型偏见，且未损失准确性。
• 在信用评分任务中，OC-BNN 降低了求助成本，并改善了代表性不足子群体的公平性，证明了基于约束的正则化具有实际效果。
• 所有模型的测试准确率相当（0.890–0.895），证实约束强制未降低预测性能。
• OC-BNN 维持了正确的不确定性量化，并在低数据区域也生成了校准良好的后验预测。
• 基于采样的先验在多样化的现实世界数据集中实现了有效的约束强制，验证了该框架的通用性与实用性。