[论文解读] Bayesian Adaptive Data Analysis Guarantees from Subgaussianity

Sam Elder|arXiv (Cornell University)|Oct 31, 2016

Statistical Methods and Inference参考文献 6被引用 10

一句话总结

该论文通过证明在狄利克雷先验下，后验均值策展人算法实现了与静态情况相同的统计精度——仅需 $ O(1/\epsilon^2 \log(q/\delta)) $ 个样本——首次为贝叶斯自适应数据分析提供了正向保证，其核心是针对贝塔分布提出了一种新颖的次高斯浓度不等式。关键洞见在于，后验均值天然具有抗过拟合能力，无需混淆机制，这与以往基于差分隐私的方法形成鲜明对比。

ABSTRACT

The new field of adaptive data analysis seeks to provide algorithms and provable guarantees for models of machine learning that allow researchers to reuse their data, which normally falls outside of the usual statistical paradigm of static data analysis. In 2014, Dwork, Feldman, Hardt, Pitassi, Reingold and Roth introduced one potential model and proposed several solutions based on differential privacy. In previous work in 2016, we described a problem with this model and instead proposed a Bayesian variant, but also found that the analogous Bayesian methods cannot achieve the same statistical guarantees as in the static case. In this paper, we prove the first positive results for the Bayesian model, showing that with a Dirichlet prior, the posterior mean algorithm indeed matches the statistical guarantees of the static case. The main ingredient is a new theorem showing that the $\mathrm{Beta}(α,β)$ distribution is subgaussian with variance proxy $O(1/(α+β+1))$, a concentration result also of independent interest. We provide two proofs of this result: a probabilistic proof utilizing a simple condition for the raw moments of a positive random variable and a learning-theoretic proof based on considering the beta distribution as a posterior, both of which have implications to other related problems.

研究动机与目标

• 为解决贝叶斯自适应数据分析中缺乏可证明保证的问题，即先前方法无法匹配静态情况下的性能。
• 解决先前工作中发现的问题：在高维、基于编码的查询设置下，后验均值算法因不稳定性而失效。
• 建立后验均值策展人可在自适应设置中实现最优 $ O(1/\epsilon^2 \log(q/\delta)) $ 样本复杂度的条件。
• 证明 $ \operatorname{Beta}(\alpha,\beta) $ 分布具有方差代理 $ O(1/(\alpha+\beta+1)) $ 的次高斯性，该结果本身具有独立兴趣。
• 证明后验均值在数据扰动和样本更新下具有稳定性，确保其在自适应查询工作负载下的鲁棒性。

提出的方法

• 通过正随机变量原始矩的概率界，证明 $ \operatorname{Beta}(\alpha,\beta) $ 分布为 $ O(1/(\alpha+\beta+1)) $-次高斯。
• 通过将贝塔分布解释为后验分布，提供第二种基于学习理论的证明，将次高斯性与后验稳定性联系起来。
• 证明每次样本更新后，后验均值的变化为 $ O(1/n^2) $-次高斯且几乎必然有界于 $ O(1/n) $，从而确保收敛性和浓度性。
• 建立四种等价的稳定性条件：后验均值更新的次高斯性、每次样本变化的有界性、替换下的样本不变性，以及对经验均值的利普希茨连续性。
• 利用后验均值的鞅演化过程应用阿祖马不等式，推导出误差界为 $ O(1/n) $ 的结果，从而得出 $ O(1/\epsilon^2 \log(q/\delta)) $ 的样本复杂度。
• 利用后验均值在数据扰动下的稳定性，证明其无需差分隐私混淆机制即可实现与静态情况相同的性能。

实验结果

研究问题

• RQ1 在贝叶斯自适应数据分析中，后验均值策展人算法是否能在不依赖差分隐私的情况下，实现与静态情况相同的样本复杂度？
• RQ2 $ \operatorname{Beta}(\alpha,\beta) $ 分布表现出何种次高斯浓度特性，其与后验稳定性的关系如何？
• RQ3 在何种条件下，后验均值对数据扰动和自适应查询序列在贝叶斯模型中具有鲁棒性？
• RQ4 当先验为狄利克雷分布时，后验均值是否能在自适应设置中实现 $ O(1/\epsilon^2 \log(q/\delta)) $ 的精度？
• RQ5 在贝叶斯自适应数据分析中，是否存在一种非混淆机制，仍能防止过拟合并匹配静态性能？

主要发现

• 在狄利克雷先验下，后验均值策展人实现与静态情况相同的统计精度，仅需 $ O(1/\epsilon^2 \log(q/\delta)) $ 个样本，达到最优界。
• $ \operatorname{Beta}(\alpha,\beta) $ 分布为 $ O(1/(\alpha+\beta+1)) $-次高斯，该结果通过矩界和后验解释得到证明。
• 后验均值每次样本更新的变化为 $ O(1/n^2) $-次高斯且几乎必然有界于 $ O(1/n) $，确保收敛性和稳定性。
• 替换一个数据点最多使后验均值改变 $ O(1/n) $，证实其对数据扰动具有鲁棒性。
• 后验均值是经验均值的 $ O(1) $-利普希茨函数，从而与稳定、低敏感度估计器建立联系。
• 结果表明，在狄利克雷-贝塔模型中，自适应过拟合可自然避免，无需混淆机制，这与以往基于差分隐私的方法形成鲜明对比。