[论文解读] A necessary and sufficient stability notion for adaptive generalization

Katrina Ligett, Moshe Shenfeld|arXiv (Cornell University)|Jun 3, 2019

Privacy-Preserving Technologies in Data参考文献 23被引用 4

一句话总结

本文提出了局部统计稳定性（LSS），这是一种新的稳定性概念，对于有界敏感度线性查询的自适应泛化而言，既是必要条件也是充分条件。它量化了计算输出对数据元素后验分布的影响程度，确保在自适应性、后处理和组合下具有鲁棒的泛化能力。已知的稳定性概念（如差分隐私）被证明可推出LSS。

ABSTRACT

We introduce a new notion of the stability of computations, which holds under post-processing and adaptive composition. We show that the notion is both necessary and sufficient to ensure generalization in the face of adaptivity, for any computations that respond to bounded-sensitivity linear queries while providing accuracy with respect to the data sample set. The stability notion is based on quantifying the effect of observing a computation's outputs on the posterior over the data sample elements. We show a separation between this stability notion and previously studied notion and observe that all differentially private algorithms also satisfy this notion.

研究动机与目标

• 解决自适应数据分析中放松的稳定性概念如何仍能保证泛化的开放问题。
• 形式化一种对后处理和自适应组合具有鲁棒性的稳定性概念，不同于以往的概念。
• 在样本准确性的假设下，建立稳定性与有界敏感度线性查询泛化之间的精确等价关系。
• 基于后验分布偏移提出一个新理论框架，以量化有害计算输出的影响。
• 证明现有机制（如差分私有算法）满足新的稳定性条件，从而获得新的泛化保证。

提出的方法

• 在数据元素上定义先验分布，并基于计算输出计算后验分布。
• 将局部统计稳定性（LSS）定义为单个数据元素上先验与后验分布之间统计距离的度量。
• 将LSS形式化为对产生显著改变任一数据元素后验分布的输出概率的约束。
• 利用信息论和概率论论证，证明LSS在后处理和自适应组合下保持不变。
• 通过直接证明，建立已知稳定性概念（如差分隐私、最大信息、压缩方案）向LSS的蕴含关系。
• 利用分离定理证明LSS严格弱于最大信息（MI）和局部最大信息（LMI），从而证明其最优性。

实验结果

研究问题

• RQ1 对于有界敏感度线性查询的自适应数据分析，何种稳定性概念既是必要条件也是充分条件以确保泛化？
• RQ2 所提出的局部统计稳定性（LSS）概念与差分隐私、最大信息等现有稳定性概念有何关系？
• RQ3 LSS是否能在后处理和自适应组合下保持不变？这对泛化保证有何影响？
• RQ4 是否存在满足LSS但不满足更强稳定性概念（如最大信息）的机制，表明其存在严格层次结构？
• RQ5 能否通过利用自然的数据采样噪声，利用LSS推导出更紧致的泛化界？

主要发现

• 在样本准确性的假设下，局部统计稳定性（LSS）是有界敏感度线性查询自适应泛化的必要且充分条件。
• 本文建立了LSS与先前研究概念之间的分离：LSS严格弱于局部最大信息（LMI），而LMI又严格弱于最大信息（MI）。
• 差分隐私、最大信息、典型稳定性以及压缩方案均蕴含LSS，为它们的泛化特性提供了一个统一框架。
• 一个均匀采样并输出一个数据元素的机制是（11√(ln(2n/δ)/n), δ)-LSS，但不是（1, 1/(2n))-LMI，证明LSS严格弱于LMI。
• 一个输出样本集异或值的机制是（ε,0)-LMI，但不是（1,1/5)-MI，证明MI严格强于LMI。
• LSS的上界比下界多一个查询，表明稳定性-泛化等价关系近乎紧致。