[论文解读] The Everlasting Database: Statistical Validity at a Fair Price

Blake Woodworth, Vitaly Feldman+2 more|arXiv (Cornell University)|Jan 1, 2018

Data Management and Algorithms被引用 2

一句话总结

该论文提出了一种机制，通过收取查询费用并利用收益收集额外样本，为自适应统计查询提供统计有效性保证。该机制在非自适应查询下成本为 O(log M)，在自适应查询下成本为 O(√M)，且无需对查询生成方式做任何假设，即可确保高概率有效性。

ABSTRACT

The problem of handling adaptivity in data analysis, intentional or not, permeates a variety of fields, including test-set overfitting in ML challenges and the accumulation of invalid scientific discoveries. We propose a mechanism for answering an arbitrarily long sequence of potentially adaptive statistical queries, by charging a price for each query and using the proceeds to collect additional samples. Crucially, we guarantee statistical validity without any assumptions on how the queries are generated. We also ensure with high probability that the cost for $M$ non-adaptive queries is $O(\log M)$, while the cost to a potentially adaptive user who makes $M$ queries that do not depend on any others is $O(\sqrt{M})$.

研究动机与目标

• 为解决自适应数据分析中的统计有效性问题，即重复查询可能导致因过拟合而使结果失效。
• 消除对查询生成方式的假设，确保无论查询是自适应还是非自适应，结果均保持有效。
• 设计一种成本高效的机制，能够随查询数量的增加而平稳扩展，最大限度降低计算与采样开销。

提出的方法

• 该机制根据查询的复杂度及其对数据有效性的潜在影响，为每个统计查询分配一个货币价格。
• 查询费用被集中并用于收集额外的独立样本，从而随时间推移提升数据效用。
• 系统通过基于鞅的分析确保统计有效性，该分析限制了结果无效的概率。
• 利用集中不等式控制多次查询下的过拟合风险。
• 定价策略设计为在非自适应查询下呈 O(log M) 增长，在自适应查询下呈 O(√M) 增长。
• 该机制无需事先了解查询模式，因此对任意自适应行为均具有鲁棒性。

实验结果

研究问题

• RQ1 能否设计一种机制，在不假设查询生成方式的前提下，确保在无限长的自适应查询序列中保持统计有效性？
• RQ2 在自适应查询下，确保统计有效性的最小成本增长是多少？
• RQ3 如何利用查询费用动态资助额外采样以维持数据完整性？
• RQ4 能否在保持高概率有效性的同时，将成本控制在查询数量的次线性增长范围内？
• RQ5 当查询依赖于先前答案时，可以为有效性提供哪些理论保证？

主要发现

• 该机制无论查询如何生成或是否为自适应查询，均能以高概率保证统计有效性。
• 对于 M 个非自适应查询，总成本为 O(log M)，确保了高效的可扩展性。
• 对于 M 个不依赖先前结果的自适应查询，成本为 O(√M)，保持高效且为次线性增长。
• 系统动态利用查询费用收集额外样本，随时间推移提升数据质量。
• 该方法无需对数据分布或查询序列做任何假设，即可确保有效性。
• 理论分析基于鞅和集中不等式，用于限制无效结果的风险。