[论文解读] Challenges in Bayesian Adaptive Data Analysis

Sam Elder|arXiv (Cornell University)|Apr 8, 2016

Machine Learning and Algorithms参考文献 13被引用 5

一句话总结

本文提出了一种贝叶斯框架用于自适应数据分析，以克服以往频繁学派模型所依赖的强而不切实际的信息不对称性所带来的局限。通过引入公开先验以实现对称性，该框架揭示出自适应查询中一类新挑战——特别是从略微相关的查询中泄露信息，这些信息可规避标准混淆技术，表明即使采用先进方法，样本复杂度仍需 $ n acksim oot[4]{q} $，揭示出自适应数据分析中此前未被发现的障碍，超越了以往的下界限制。

ABSTRACT

Traditional statistical analysis requires that the analysis process and data are independent. By contrast, the new field of adaptive data analysis hopes to understand and provide algorithms and accuracy guarantees for research as it is commonly performed in practice, as an iterative process of interacting repeatedly with the same data set, such as repeated tests against a holdout set. Previous work has defined a model with a rather strong lower bound on sample complexity in terms of the number of queries, $n\sim\sqrt q$, arguing that adaptive data analysis is much harder than static data analysis, where $n\sim\log q$ is possible. Instead, we argue that those strong lower bounds point to a limitation of the previous model in that it must consider wildly asymmetric scenarios which do not hold in typical applications. To better understand other difficulties of adaptivity, we propose a new Bayesian version of the problem that mandates symmetry. Since the other lower bound techniques are ruled out, we can more effectively see difficulties that might otherwise be overshadowed. As a first contribution to this model, we produce a new problem using error-correcting codes on which a large family of methods, including all previously proposed algorithms, require roughly $n\sim\sqrt[4]q$. These early results illustrate new difficulties in adaptive data analysis regarding slightly correlated queries on problems with concentrated uncertainty.

研究动机与目标

• 解决以往自适应数据分析模型所依赖的不切实际信息不对称性所带来的局限。
• 提出一种对称的贝叶斯公式化方法，以排除基于此类不对称性的现有下界技术。
• 识别出自适应数据分析中即使在消除信息不对称性后依然存在的新挑战。
• 评估标准混淆技术（如噪声注入和舍入）在贝叶斯设置下是否依然有效。
• 展示一个所有已知策展人算法均无法实现最优样本复杂度的新问题实例。

提出的方法

• 在贝叶斯设置下形式化自适应数据分析，引入公开且准确的先验以实现对称性，消除信息不对称性。
• 将频繁学派方法中的经验均值替换为后验均值作为核心估计量。
• 基于纠错码构建一个学习问题，其在一个方向上具有高度不确定性，以创造具有挑战性的查询环境。
• 使用近乎正交的测量手段，即使在噪声、舍入或代理机制的混淆下，仍能从微弱效应中提取信息。
• 分析所有先前提出的策展人算法在此贝叶斯背景下的表现，重点关注其无法实现最优样本复杂度的问题。
• 提出一个新颖的问题实例，揭示出来自略微相关查询的新型信息泄露，且该泄露与信息不对称性无关。

实验结果

研究问题

• RQ1 通过采用对称的贝叶斯公式化，是否能够绕过以往频繁学派模型中的强下界？
• RQ2 当信息不对称性被消除后，出自适应数据分析中会出现哪些新挑战？
• RQ3 在贝叶斯设置下，标准混淆技术（如噪声添加和舍入）是否依然有效？
• RQ4 是否存在一个与信息不对称性无关的根本性障碍，阻碍实现自适应数据分析中的最优样本复杂度？
• RQ5 相关查询是否可能在经过噪声或舍入混淆后仍泄露信息，如果是，其机制是什么？

主要发现

• 该贝叶斯模型成功排除了基于信息不对称性的主导类下界，使得对其他挑战的分析更加清晰。
• 基于纠错码且不确定性高度集中的新问题，暴露出自适应数据分析中此前未被发现的困难。
• 所有先前提出的策展人算法在此新问题上均失效，样本复杂度达到 $ n \backsim \root[4]{q} $，远差于静态情况下的表现。
• 略微相关的查询可绕过标准混淆技术（包括噪声、舍入和代理机制）泄露信息。
• 标准混淆方法在此设置下的失效，揭示了一类此前下界未捕捉到的新类型限制。
• 该结果表明，尽管自适应数据分析依然具有挑战性，但其核心困难可能比先前所担心的要轻微，因为新障碍在查询数量上仅为对数多项式，而非多项式。