[论文解读] Accuracy, Interpretability, and Differential Privacy via Explainable Boosting

Harsha Nori, Rich Caruana+3 more|arXiv (Cornell University)|Jun 17, 2021

Privacy-Preserving Technologies in Data被引用 7

一句话总结

该论文提出了 DP-EBM，一种可解释增强机（EBM）的差分隐私变体，在保持全局和局部可解释性的同时，实现了表格分类与回归任务中的最先进准确率。通过在 GDP 框架下应用差分隐私，并利用后处理技术进行模型编辑，DP-EBM 在强隐私预算下（例如 ε=0.5）仍能保持高性能，准确率损失极小，且可无额外隐私成本纠正由噪声引起的偏差。

ABSTRACT

We show that adding differential privacy to Explainable Boosting Machines (EBMs), a recent method for training interpretable ML models, yields state-of-the-art accuracy while protecting privacy. Our experiments on multiple classification and regression datasets show that DP-EBM models suffer surprisingly little accuracy loss even with strong differential privacy guarantees. In addition to high accuracy, two other benefits of applying DP to EBMs are: a) trained models provide exact global and local interpretability, which is often important in settings where differential privacy is needed; and b) the models can be edited after training without loss of privacy to correct errors which DP noise may have introduced.

研究动机与目标

• 解决医疗与金融等高风险机器学习应用中隐私与可解释性的双重挑战。
• 为广义可加模型（GAMs）开发一种差分隐私学习算法，同时保持高预测准确率。
• 实现在不损害隐私的前提下，训练后对模型进行编辑与约束强制（如单调性）。
• 证明差分隐私可作为正则化项，提升模型平滑性与可解释性。

提出的方法

• 在 GDP 框架下，通过高斯机制对 Explainable Boosting Machines（EBMs）进行扩展，实现严格的隐私会计，引入差分隐私。
• 在循环提升过程中对梯度添加噪声，以在训练每个特征的形状函数时保护隐私。
• 通过连续特征的直方图分箱降低计算成本，提升训练效率。
• 采用后处理技术（如等渗回归）在不增加隐私成本的前提下，对学习到的形状函数施加单调性约束。
• 通过直接修改训练后的形状函数实现模型编辑，该方法在差分隐私的后处理性质下具有隐私保障。
• 与现有 EBM 框架无缝集成，使 DP-EBM 在 scikit-learn 兼容的流水线中使用方式与标准 EBM 一致。

实验结果

研究问题

• RQ1 差分隐私能否在不造成显著准确率下降的前提下，有效应用于 EBM 等可解释机器学习模型？
• RQ2 差分隐私与可解释性相结合，如何在高风险领域实现实际的模型修复与约束强制？
• RQ3 差分隐私噪声在 EBM 训练中在多大程度上起到正则化作用，从而提升模型平滑性与泛化能力？
• RQ4 是否可利用后处理技术（如等渗回归）在不违反隐私保证的前提下，对 DP-EBM 的形状函数施加单调性？
• RQ5 在多种表格数据集上，DP-EBM 与其他差分隐私学习方法相比，准确率表现如何？

主要发现

• 在 ε=0.5 时，DP-EBM 在基准分类数据集上的 AUC 损失最多仅为 0.05，表明其具备出色的隐私-准确率权衡能力。
• DP-EBM 在多个分类与回归任务中显著优于其他差分隐私学习方法，确立了最先进性能。
• 在 ε=4 时引入差分隐私起到了正则化作用，使形状函数更加平滑，降低模型方差，提升可解释性。
• 通过训练后对形状函数进行编辑（如消除与年龄相关的风险预测中的虚假波动），可无额外隐私成本纠正由噪声引起的偏差。
• 可通过仅使用公开信息的等渗回归，在学习到的形状函数上施加单调性约束，既保持隐私又增强模型可靠性。
• 能够对模型进行事后检查与编辑，使领域专家可在高风险场景中审计、修正与验证模型，从而提升对隐私机器学习系统的信任。