[论文解读] Differentially Private Bayesian Optimization

Matt J. Kusner, Jacob R. Gardner+2 more|PolyPublie (École Polytechnique de Montréal)|Jan 16, 2015

Privacy-Preserving Technologies in Data参考文献 45被引用 24

一句话总结

本文提出了首个差分隐私贝叶斯优化框架，可在保护近似最优性能的同时，私密发布最优超参数和验证准确率。通过在高斯过程后验均值中注入校准噪声，并在高斯过程和光滑性假设下获得差分隐私保证，该方法实现了强隐私保护，同时优化性能损失有限。

ABSTRACT

Bayesian optimization is a powerful tool for fine-tuning the hyper-parameters of a wide variety of machine learning models. The success of machine learning has led practitioners in diverse real-world settings to learn classifiers for practical problems. As machine learning becomes commonplace, Bayesian optimization becomes an attractive method for practitioners to automate the process of classifier hyper-parameter tuning. A key observation is that the data used for tuning models in these settings is often sensitive. Certain data such as genetic predisposition, personal email statistics, and car accident history, if not properly private, may be at risk of being inferred from Bayesian optimization outputs. To address this, we introduce methods for releasing the best hyper-parameters and classifier accuracy privately. Leveraging the strong theoretical guarantees of differential privacy and known Bayesian optimization convergence bounds, we prove that under a GP assumption these private quantities are also near-optimal. Finally, even if this assumption is not satisfied, we can use different smoothness guarantees to protect privacy.

研究动机与目标

• 解决在使用敏感验证数据进行机器学习超参数调优时的隐私泄露问题。
• 开发一种方法，可在不损害优化性能的前提下，私密发布最佳超参数和验证准确率。
• 在精确和噪声观测下，为贝叶斯优化提供可证明的差分隐私保证。
• 通过目标函数的光滑性条件，将隐私保证扩展至高斯过程假设之外。

提出的方法

• 利用高斯过程（GP）先验对验证收益函数建模，以表征不确定性并指导优化。
• 通过向GP后验均值注入校准噪声，实现差分隐私，从而对最优超参数的选择进行隐私保护。
• 利用贝叶斯优化的已知收敛界，证明在高斯过程假设下，私密输出仍保持近似最优。
• 通过分析数据集扰动下GP后验均值的敏感性，建立隐私保证。
• 通过假设目标函数的光滑性条件（如有界变差或利普希茨连续性），将结果扩展至非GP场景。
• 推导出保持差分隐私的隐私保护采集函数，以在探索与利用之间取得平衡。

实验结果

研究问题

• RQ1 贝叶斯优化能否在保持近似最优性能的同时实现差分隐私，用于超参数调优？
• RQ2 如何在不暴露敏感数据的前提下，私密发布最佳超参数和验证准确率？
• RQ3 在对贝叶斯优化应用差分隐私时，性能损失的理论边界是什么？
• RQ4 当目标函数并非来自高斯过程时，隐私保证是否仍可维持？
• RQ5 噪声尺度的选择如何影响隐私与优化准确率之间的权衡？

主要发现

• 所提方法在高斯过程假设下，对最佳超参数和验证准确率的发布实现了(ε, δ)-差分隐私。
• 由于隐私化带来的性能损失是受控的，且保持近似最优，其理论保证基于贝叶斯优化的收敛界推导得出。
• 即使在无高斯过程假设的情况下，只要目标函数满足光滑性条件（如有界变差或利普希茨连续性），差分隐私依然成立。
• 该框架支持精确观测和噪声观测，适用于存在测量噪声的真实机器学习场景。
• 该方法使在医疗、金融等敏感领域中安全共享模型调优结果成为可能，同时不损害个体隐私。
• 该方法是首个在通过贝叶斯优化实现全局黑箱优化中提供可证明差分隐私的方案，扩展了先前在私密凸优化方面的工作。