[论文解读] Information, Privacy and Stability in Adaptive Data Analysis

Adam Smith|arXiv (Cornell University)|Jun 2, 2017

Privacy-Preserving Technologies in Data参考文献 42被引用 4

一句话总结

本文建立了信息论度量（特别是单次互信息）与自适应数据分析中鲁棒泛化之间的基础性联系。它表明，具有有界信息泄漏的算法（如差分隐私机制和压缩方案）即使在数据被重复用于自适应查询时，也能确保稳定的统计推断，为泛化误差提供形式化保证。

ABSTRACT

Traditional statistical theory assumes that the analysis to be performed on a given data set is selected independently of the data themselves. This assumption breaks downs when data are re-used across analyses and the analysis to be performed at a given stage depends on the results of earlier stages. Such dependency can arise when the same data are used by several scientific studies, or when a single analysis consists of multiple stages. How can we draw statistically valid conclusions when data are re-used? This is the focus of a recent and active line of work. At a high level, these results show that limiting the information revealed by earlier stages of analysis controls the bias introduced in later stages by adaptivity. Here we review some known results in this area and highlight the role of information-theoretic concepts, notably several one-shot notions of mutual information.

研究动机与目标

• 为解决自适应数据重用引发的统计危机，传统推断方法因选择偏差而失效。
• 形式化信息泄漏与自适应分析设置中泛化误差之间的联系。
• 证明有界信息度量（尤其是单次互信息）可确保统计推断的鲁棒性。
• 在统一的信息论框架下整合不同方法（差分隐私、压缩、稳定性）。
• 通过识别具有有界信息泄漏的算法类别，实现有原则的后选择假设检验。

提出的方法

• 使用单次互信息度量，特别是 $ I_{\beta}^{ ext{inf}}({\bf X}; M({f X})) $，量化分析机制对数据泄露的信息量。
• 应用 $ \beta $-鲁棒泛化的概念，其中 $ \beta $ 控制估计偏差的容许程度。
• 证明差分隐私蕴含有限单次信息，通过定理14实现鲁棒泛化。
• 分析输出为数据集小部分子集的压缩方案（例如支持向量），表明 $ L_{\infty}({\bf X}_{\text{in}}; {\bf X}_{\text{out}}) \leq \log_2 \binom{n}{k} $。
• 利用低信息泄漏与低过拟合相关联的事实，实现在自适应查询后仍可进行有效推断。
• 使用“提升”概念连接两阶段博弈与稳定性，表明有界信息蕴含自适应设置下的稳定性。

实验结果

研究问题

• RQ1 当同一组数据被用于多次自适应分析时，统计推断如何保持有效？
• RQ2 通过单次互信息度量的信息泄漏在控制自适应数据分析中的偏差方面起什么作用？
• RQ3 哪些算法类别（如差分隐私、基于压缩的算法）因其有界信息泄漏而天然满足鲁棒泛化？
• RQ4 信息论度量能否统一自适应设置下差分隐私与基于压缩的学习等不同方法？
• RQ5 在自适应数据重用下，如何使后选择假设检验具有原则性并保持有效？

主要发现

• 参数为 $ (\epsilon, \delta) $ 的差分隐私机制实现 $ I_{\infty}^{\beta}({\bf X}; M({f X})) = O(\epsilon^2 n) $，其中 $ \beta = O(n\sqrt{\delta/\epsilon}) $，确保鲁棒泛化。
• 从 $ n $ 个点的数据集中输出 $ k $ 个点的压缩方案，对输入泄露的信息最多为 $ \log_2 \binom{n}{k} $ 比特，从而支持泛化保证。
• 该框架恢复了线性查询的已知结果，并将其扩展至非线性问题（如假设检验）。
• 具有有界单次信息度量的算法（包括差分隐私和基于压缩的方法）是 $ (O(\epsilon), O(n\sqrt{\delta/\epsilon})) $-鲁棒泛化的。
• 信息论框架通过确保分析不会对数据过拟合，支持有原则的后选择推断。
• 信息泄漏与泛化误差之间的联系为理解自适应数据分析中的稳定性提供了一个统一的视角。