[论文解读] Generalization for Adaptively-chosen Estimators via Stable Median

Vitaly Feldman, Thomas Steinke|arXiv (Cornell University)|Jun 15, 2017

Privacy-Preserving Technologies in Data参考文献 10被引用 5

一句话总结

本文提出了一种基于稳定中位数估计器的新算法，仅需 √k 个样本即可实现对自适应选择估计器的精确泛化，显著优于以往需要线性或更差样本复杂度的方法。该方法利用微差隐私确保稳定性与泛化性，实现与估计器敏感度无关的误差界，同时通过可重复使用保留集技术实现对数级样本复杂度的验证。

ABSTRACT

Datasets are often reused to perform multiple statistical analyses in an adaptive way, in which each analysis may depend on the outcomes of previous analyses on the same dataset. Standard statistical guarantees do not account for these dependencies and little is known about how to provably avoid overfitting and false discovery in the adaptive setting. We consider a natural formalization of this problem in which the goal is to design an algorithm that, given a limited number of i.i.d.~samples from an unknown distribution, can answer adaptively-chosen queries about that distribution. We present an algorithm that estimates the expectations of $k$ arbitrary adaptively-chosen real-valued estimators using a number of samples that scales as $\sqrt{k}$. The answers given by our algorithm are essentially as accurate as if fresh samples were used to evaluate each estimator. In contrast, prior work yields error guarantees that scale with the worst-case sensitivity of each estimator. We also give a version of our algorithm that can be used to verify answers to such queries where the sample complexity depends logarithmically on the number of queries $k$ (as in the reusable holdout technique). Our algorithm is based on a simple approximate median algorithm that satisfies the strong stability guarantees of differential privacy. Our techniques provide a new approach for analyzing the generalization guarantees of differentially private algorithms.

研究动机与目标

• 解决自适应数据分析中的过拟合与虚假发现问题，其中查询依赖于先前结果，而标准统计保证失效。
• 设计一种算法，仅使用最少样本即可对 k 个自适应选择的实值估计器提供准确估计，避免传统方法所需的线性样本复杂度。
• 实现与估计器敏感度无关的泛化保证，不同于以往工作依赖于最坏情况敏感度的缩放。
• 通过对数级样本复杂度实现高效验证自适应查询的答案，扩展可重复使用保留集技术。
• 通过稳定中位数估计，为理解微差隐私算法中的泛化性提供新的分析框架。

提出的方法

• 提出一种满足强微差隐私保证的稳定中位数算法，确保对自适应查询依赖关系的鲁棒性。
• 通过近似中位数问题到统计查询回答的归约，实现对分布约束下期望的估计。
• 应用私有乘法权重方法，以样本复杂度 O(√(log|X|)·log(k/α)·log³ᐟ²(1/β)/α³) 回答 k 个自适应查询，精度为 α。
• 通过将实值估计器映射到有限集合 T 的离散化策略，使统计查询算法得以应用。
• 结合微差隐私与基于中位数的估计，实现在不依赖单个估计器最坏情况敏感度下的泛化性。
• 通过构建支持重复查询验证且样本开销较低的微差隐私机制，利用可重复使用保留集技术。

实验结果

研究问题

• RQ1 我们能否设计一种算法，在自适应选择的估计器中实现样本复杂度关于查询数量的亚线性缩放？
• RQ2 在自适应设置下，能否实现与单个估计器最坏情况敏感度无关的泛化误差？
• RQ3 我们能否构建一种微差隐私机制，同时支持对自适应查询答案的准确估计与验证？
• RQ4 在微差隐私下，确保对 k 个自适应选择的估计器实现泛化的最小样本复杂度是多少？
• RQ5 稳定中位数估计如何用于改进自适应数据分析中的泛化性，超越现有私有查询回答框架？

主要发现

• 所提算法使用 O(√k) 个样本即可实现对 k 个自适应选择估计器的泛化，优于以往需要线性或更差缩放的方法。
• 误差界与单个估计器的最坏情况敏感度无关，而不同于以往方法随敏感度缩放。
• 在答案验证方面，样本复杂度随 k 对数级增长，支持高效可重复使用保留集风格的验证。
• 该算法在低敏感度查询下实现最优样本复杂度，精度为 α 时样本数为 n = O(√(log|X|)·log(k/α)·log³ᐟ²(1/β)/α³)。
• 该方法通过稳定中位数估计，为理解微差隐私算法中的泛化性提供了新的分析框架。
• 该方法即使在查询自适应选择的情况下，也能实现准确估计，并在数据分布上以高概率保证。