[论文解读] A Minimax Theory for Adaptive Data Analysis

Yu-Xiang Wang, Jing Lei+1 more|arXiv (Cornell University)|Feb 13, 2016

Distributed Sensor Networks and Detection Algorithms参考文献 9被引用 11

一句话总结

本文在高斯查询假设下，为自适应数据分析提出了一种极小极大框架，建立了平方误差的紧下界 $O\left(\frac{\sqrt{k}\sigma^2}{n}\right)$。证明了独立高斯噪声添加在常数因子内为极小极大最优，并表明一阶段和k阶段自适应带来的最坏情况误差增长相似，且一个近似最不利的对手通过单一层级自适应即可最大化偏差。

ABSTRACT

In adaptive data analysis, the user makes a sequence of queries on the data, where at each step the choice of query may depend on the results in previous steps. The releases are often randomized in order to reduce overfitting for such adaptively chosen queries. In this paper, we propose a minimax framework for adaptive data analysis. Assuming Gaussianity of queries, we establish the first sharp minimax lower bound on the squared error in the order of $O(\frac{\sqrt{k}σ^2}{n})$, where $k$ is the number of queries asked, and $σ^2/n$ is the ordinary signal-to-noise ratio for a single query. Our lower bound is based on the construction of an approximately least favorable adversary who picks a sequence of queries that are most likely to be affected by overfitting. This approximately least favorable adversary uses only one level of adaptivity, suggesting that the minimax risk for 1-step adaptivity with k-1 initial releases and that for $k$-step adaptivity are on the same order. The key technical component of the lower bound proof is a reduction to finding the convoluting distribution that optimally obfuscates the sign of a Gaussian signal. Our lower bound construction also reveals a transparent and elementary proof of the matching upper bound as an alternative approach to Russo and Zou (2015), who used information-theoretic tools to provide the same upper bound. We believe that the proposed framework opens up opportunities to obtain theoretical insights for many other settings of adaptive data analysis, which would extend the idea to more practical realms.

研究动机与目标

• 为自适应数据分析构建一个极小极大框架，以推广和统一先前的设定。
• 在高斯假设下，推导出自适应查询的首个率最优极小极大下界。
• 通过一种透明且初等的证明方法，得到与Russo & Zou (2015)一致的上界，并改进了常数因子。
• 阐明查询类的丰富程度在决定极小极大风险中的作用，及其对k的依赖关系。

提出的方法

• 为具有高斯查询的k阶段自适应数据分析构建极小极大风险框架。
• 构造一个近似最不利对手，通过选择能最大化偏差的查询，利用高斯信号的符号优化卷积。
• 将下界证明简化为寻找一种最优卷积分布，以混淆高斯信号的符号。
• 通过减少到一个分类问题来推导极小极大下界。
• 证明可通过高斯噪声添加的直接分析得到相同上界，避免使用信息论工具。
• 分析查询类丰富程度的影响，表明仅当查询类足够丰富时，极小极大风险才随 $\sqrt{k}$ 增长。

实验结果

研究问题

• RQ1 在高斯查询假设下，k阶段自适应数据分析的极小极大风险是多少？其如何随k和信噪比变化？
• RQ2 Russo & Zou (2015) 的估计误差上界能否通过更简单、非信息论的证明方法推导得出？
• RQ3 是否一阶段自适应足以实现与k阶段自适应相同的最坏情况误差率？
• RQ4 当 $k \ll \log|\mathcal{T}|$ 或 $k \gg d$ 时，查询类的丰富程度如何影响极小极大风险？
• RQ5 当查询类为有限集或度量熵较低时，极小极大率是多少？

主要发现

• 自适应数据分析的极小极大下界为 $O\left(\frac{\sqrt{k}\sigma^2}{n}\right)$，与上界仅相差一个常数因子。
• 可通过基于高斯噪声添加的初等证明方法得到相同的上界，且常数因子优于Russo & Zou (2015)。
• k阶段自适应的最坏情况风险与一阶段自适应处于同一数量级，表明单一层级自适应即可捕获最坏情况偏差。
• 一个近似最不利对手选择与先前结果高度相关的查询，其符号模式由最优分类器决定。
• 当查询类足够丰富时（例如 $k \ll \log|\mathcal{T}|$），极小极大风险随 $\sqrt{k}$ 增长；否则，统一收敛可能给出更优的速率。
• 当 $k > d$ 时，$\sqrt{k}$ 的标度可能不再成立，风险可能转而按 $O(d\sigma^2/n)$ 缩放，表明在 $k \sim d$ 处存在相变。