[论文解读] A New Approach to Adaptive Data Analysis and Learning via Maximal Leakage

Amedeo Roberto Esposito, Michael Gastpar+1 more|arXiv (Cornell University)|Mar 5, 2019

Privacy-Preserving Technologies in Data参考文献 21被引用 7

一句话总结

本文提出了一种新颖的自适应数据分析框架，采用最大泄漏（maximal leakage）作为衡量输入数据与算法输出之间信息泄漏的指标。通过约束最大泄漏，作者推导出泛化保证，该保证推广了经典不等式（如McDiarmid不等式），在性能上优于或匹配差分隐私和最大信息（max-information）方法，为自适应学习与分析提供了一种限制更少但组合性更强的替代方案。

ABSTRACT

There is an increasing concern that most current published research findings are false. The main cause seems to lie in the fundamental disconnection between theory and practice in data analysis. While the former typically relies on statistical independence, the latter is an inherently adaptive process: new hypotheses are formulated based on the outcomes of previous analyses. A recent line of work tries to mitigate these issues by enforcing constraints, such as differential privacy, that compose adaptively while degrading gracefully and thus provide statistical guarantees even in adaptive contexts. Our contribution consists in the introduction of a new approach, based on the concept of Maximal Leakage, an information-theoretic measure of leakage of information. The main result allows us to compare the probability of an event happening when adaptivity is considered with respect to the non-adaptive scenario. The bound we derive represents a generalization of the bounds used in non-adaptive scenarios (e.g., McDiarmid's inequality for $c$-sensitive functions, false discovery error control via significance level, etc.), and allows us to replicate or even improve, in certain regimes, the results obtained using Max-Information or Differential Privacy. In contrast with the line of work started by Dwork et al., our results do not rely on Differential Privacy but are, in principle, applicable to every algorithm that has a bounded leakage, including the differentially private algorithms and the ones with a short description length.

研究动机与目标

• 解决因自适应数据分析导致的虚假研究发现危机，即假设基于先前结果迭代优化。
• 克服传统统计方法的局限性，后者假设分析过程为非自适应且预先指定。
• 开发一种在自适应数据重用下依然有效的泛化框架，无需依赖差分隐私等严格假设。
• 提供一个统一的信息论界，推广经典集中不等式，并适用于广泛的学习算法类别。
• 证明最大泄漏在自适应环境中相较于现有度量（如最大信息和差分隐私）更具灵活性与可分析性。

提出的方法

• 将学习算法建模为条件分布，并使用最大泄漏 $\mathcal{L}(X \to Y)$ 量化训练数据 $X$ 到输出 $Y$ 的信息泄漏。
• 推导出自适应分析下事件 $E$ 概率的一般界：$\mathbb{P}(E) \leq \max_y \mathcal{P}_X(E_y) \cdot \exp(\mathcal{L}(X \to Y))$，该界推广了非自适应界的结论。
• 建立最大泄漏的组合性质：$\mathcal{L}(X \to (A_1,\dots,A_n)) \leq \sum_{i=1}^n \mathcal{L}(X \to A_i | A_1,\dots,A_{i-1})$，从而支持序列分析的保证。
• 证明最大泄漏对后处理具有鲁棒性，且对有限随机变量有界，而差分隐私可能为无穷大。
• 证明最大泄漏可通过 $\mathcal{L}(X \to Y) = \log \sum_y \max_{x: P(x)>0} P_{Y|X}(y|x)$ 以闭式形式计算，从而支持实际分析。
• 证明差分隐私算法满足 $\mathcal{L}(X \to Y) \leq \epsilon n$，将最大泄漏与差分隐私联系起来，同时限制更少。

实验结果

研究问题

• RQ1 能否为自适应数据分析推导出一个泛化界，使其在基于先前结果选择假设时依然有效？
• RQ2 在灵活性、紧致性和计算可处理性方面，最大泄漏与差分隐私和最大信息相比如何？
• RQ3 最大泄漏能否用于在自适应环境中界定事件概率，同时推广经典非自适应不等式？
• RQ4 最大泄漏在学习算法顺序应用下的组合性质是什么？
• RQ5 最大泄漏是否可作为差分隐私在自适应数据分析中确保泛化的可行替代方案，尤其是在隐私约束过强时？

主要发现

• 本文推导出一般界 $\mathbb{P}(E) \leq \max_y \mathcal{P}_X(E_y) \cdot \exp(\mathcal{L}(X \to Y))$，该界推广了McDiarmid不等式及其他非自适应界至自适应场景。
• 最大泄漏提供了比差分隐私和最大信息更紧致、更灵活的替代方案，支持闭式计算并具备更优的组合性质。
• 作者证明了对于 $\epsilon$-差分隐私算法有 $\mathcal{L}(X \to Y) \leq \epsilon n$，表明最大泄漏在限制更少的前提下捕捉了相同的保证。
• 最大泄漏对后处理具有鲁棒性，且组合有界，适用于分析一系列自适应查询。
• 该框架适用于所有泄漏有界的算法，包括描述长度较短的非私有算法，从而将适用范围扩展至隐私保护方法之外。
• 在最大信息或差分隐私适用的场景中，所推导的界与现有结果相当或更优，尤其在泄漏较低时表现更佳。