[论文解读] Calibrating Noise to Variance in Adaptive Data Analysis

Vitaly Feldman, Thomas Steinke|arXiv (Cornell University)|Dec 19, 2017

Privacy-Preserving Technologies in Data参考文献 24被引用 6

一句话总结

本文提出了一种基于KL散度的新型稳定性概念，通过根据查询的方差校准噪声，在自适应数据分析中实现了更紧致的一般化界。所提出的算法为每个查询的噪声添加了与标准差成比例的高斯噪声，相较于标准的差分隐私方法，在低方差查询上显著提升了准确性。

ABSTRACT

Datasets are often used multiple times and each successive analysis may depend on the outcome of previous analyses. Standard techniques for ensuring generalization and statistical validity do not account for this adaptive dependence. A recent line of work studies the challenges that arise from such adaptive data reuse by considering the problem of answering a sequence of "queries" about the data distribution where each query may depend arbitrarily on answers to previous queries. The strongest results obtained for this problem rely on differential privacy -- a strong notion of algorithmic stability with the important property that it "composes" well when data is reused. However the notion is rather strict, as it requires stability under replacement of an arbitrary data element. The simplest algorithm is to add Gaussian (or Laplace) noise to distort the empirical answers. However, analysing this technique using differential privacy yields suboptimal accuracy guarantees when the queries have low variance. Here we propose a relaxed notion of stability that also composes adaptively. We demonstrate that a simple and natural algorithm based on adding noise scaled to the standard deviation of the query provides our notion of stability. This implies an algorithm that can answer statistical queries about the dataset with substantially improved accuracy guarantees for low-variance queries. The only previous approach that provides such accuracy guarantees is based on a more involved differentially private median-of-means algorithm and its analysis exploits stronger "group" stability of the algorithm.

研究动机与目标

• 解决自适应数据分析中查询依赖于先前结果时出现的过拟合问题。
• 在数据被自适应重用时，提升对统计查询回答的准确性。
• 提出一种比差分隐私更好地捕捉与方差相关的噪声缩放的稳定性概念。
• 提供一种适应查询方差的一般化保证，其在低方差查询上的表现优于现有差分隐私方法。

提出的方法

• 引入ALKL（近似KL）稳定性，一种基于KL散度的松弛稳定性概念，可自适应组合。
• 利用数据集与算法输出之间的互信息推导一般化界，将稳定性与一般化联系起来。
• 提出一种噪声添加算法，将噪声按每个查询经验分布的标准差进行缩放。
• 基于查询数量和样本大小的平方根参数化噪声方差，以适应查询特定的方差。
• 利用柯西-施瓦茨不等式和矩不等式控制最坏情况查询的误差，利用噪声分布的对称性。
• 通过变换查询与答案对来分析算法，确保误差界具有对称性和有界性。

实验结果

研究问题

• RQ1 基于KL散度的稳定性概念是否能在自适应数据分析中提供比差分隐私更紧致的一般化界？
• RQ2 如何根据查询方差校准噪声，以提升自适应查询工作负载的准确性？
• RQ3 是否可能在不牺牲自适应性保证的前提下，为低方差查询实现更紧致的误差界？
• RQ4 数据集与输出之间的互信息是否可用于在自适应设置中推导有意义的一般化界？
• RQ5 与标准差分隐私机制相比，方差感知噪声机制在误差缩放方面是否表现更优？

主要发现

• 所提出的ALKL稳定性概念意味着数据集与算法输出之间存在互信息界，从而实现更紧致的一般化保证。
• 该算法对最坏情况查询的一般化误差界为 $ O\big(\tau \big) $，其中 $ \tau = \sqrt{\frac{\sqrt{2k\ln(2k)}}{n}} $。
• 将期望误差归一化为 $ \max\{\tau \cdot \mathrm{sd}(\psi_j), \tau^2\} $ 后，其值被限制在4以内，表明对相对误差有强控制。
• 对于低方差查询，该算法相比添加固定尺度噪声的标准差分隐私方法，显著提升了准确性。
• 该方法避免了中位数-均值方法的复杂性，同时在低方差查询上实现了相当或更优的准确性。
• 分析表明，方差感知噪声缩放可实现自适应设置下的最优或近似最优误差缩放。