[论文解读] Differentially private methods for managing model uncertainty in linear regression models

Víctor Peña, Andrés F. Barrientos|arXiv (Cornell University)|Sep 8, 2021

Privacy-Preserving Technologies in Data参考文献 36被引用 6

一句话总结

本文提出了用于正态线性回归模型中假设检验、模型平均和模型选择的差分隐私方法，通过数据分割与截断及充分统计量扰动来确保隐私。该方法保持渐近一致性，并提供校准的临界值和不确定性量化，同时提供有限样本效用和对稀疏性的稳健性的实际指导。

ABSTRACT

In this work, we propose differentially private methods for hypothesis testing, model averaging, and model selection for normal linear models. We consider Bayesian methods based on mixtures of $g$-priors and non-Bayesian methods based on likelihood-ratio statistics and information criteria. The procedures are asymptotically consistent and straightforward to implement with existing software. We focus on practical issues such as adjusting critical values so that hypothesis tests have adequate type I error rates and quantifying the uncertainty introduced by the privacy-ensuring mechanisms.

研究动机与目标

• 开发用于管理正态线性模型中模型不确定性的差分隐私程序，包括假设检验、模型平均和模型选择。
• 在与非私有方法相似的正则条件下，确保所提方法的渐近一致性。
• 解决实际挑战，如数据分割和截断对差分隐私检验统计量造成的偏差。
• 通过模拟校准和置信集量化隐私机制引入的不确定性。
• 根据真实模型的稀疏性，提供在截断法与非截断法之间选择的实用指导。

提出的方法

• 使用子样本聚合技术，结合数据分割与截断，构建用于嵌套模型比较的差分隐私检验统计量。
• 应用充分统计量扰动，释放充分统计量的噪声版本，将扰动方差从指数级增长降低至与预测变量数量的平方成正比。
• 在贝叶斯框架中使用g-先验的混合形式，在非贝叶斯设置中使用似然比统计量与信息准则（AIC、BIC）。
• 通过在原假设下模拟私有检验统计量分布来校准临界值，以保持适当的 I 类错误率。
• 通过重复模拟的平均直方图量化隐私引起的不确定性，并报告后验汇总的置信集。
• 当预期存在稀疏性时，推荐对扰动后的充分统计量进行后处理硬截断，并同时使用截断与非截断版本进行双重分析，以保护隐私预算。

实验结果

研究问题

• RQ1 如何在保持适当 I 类错误率的前提下，为嵌套线性模型构建差分隐私假设检验？
• RQ2 数据分割与截断对差分隐私检验统计量性能有何影响，偏差如何校正？
• RQ3 如何以统计上有意义的方式量化并报告隐私机制引入的不确定性？
• RQ4 在何种场景下，截断法与非截断法在模型选择中表现更优，如何在实践中加以利用？
• RQ5 差分隐私模型平均与选择程序是否能在与非私有方法类似的正则条件下保持一致性？

主要发现

• 通过模拟校准的临界值调整，差分隐私假设检验即使在数据分割与截断后仍能实现校准的 I 类错误率。
• 充分统计量扰动的使用确保扰动项的方差随预测变量数量的平方增长，避免了指数级增长。
• 250 次模拟运行的平均直方图显示，私有估计值紧密跟踪非私有结果，更宽的分布表明隐私引起的不确定性。
• 当真实模型为稀疏时，截断方法优于非截断方法；而当大多数预测变量活跃时，非截断方法更优。
• 报告置信集被证明是量化隐私机制引入不确定性的有力工具。
• 在与非私有模型选择类似的正则条件下，该方法具有渐近一致性，确保长期可靠性。