[论文解读] Controlling Bias in Adaptive Data Analysis Using Information Theory

Daniel Russo, James Zou|arXiv (Cornell University)|Nov 16, 2015

Distributed Sensor Networks and Detection Algorithms被引用 97

一句话总结

本文提出了一种基于信息论的框架，利用互信息来量化并界定自适应数据分析中的偏差，其中分析选择依赖于同一数据集上的先前结果。该框架证明了在自然模型中该界是紧致的，并表明诸如特征选择和加噪等方法可被严格评估偏差，为自适应工作流中的虚假发现提供了可证明的防护措施。

ABSTRACT

Modern data is messy and high-dimensional, and it is often not clear a priori what are the right questions to ask. Instead, the analyst typically needs to use the data to search for interesting analyses to perform and hypotheses to test. This is an adaptive process, where the choice of analysis to be performed next depends on the results of the previous analyses on the same data. It's widely recognized that this process, even if well-intentioned, can lead to biases and false discoveries, contributing to the crisis of reproducibility in science. But while adaptivity renders standard statistical theory invalid, folklore and experience suggest that not all types of adaptive analysis are equally at risk for false discoveries. In this paper, we propose a general information-theoretic framework to quantify and provably bound the bias and other statistics of an arbitrary adaptive analysis process. We prove that our mutual information based bound is tight in natural models, and then use it to give rigorous insights into when commonly used procedures do or do not lead to substantially biased estimation. We first consider several popular feature selection protocols, like rank selection or variance-based selection. We then consider the practice of adding random noise to the observations or to the reported statistics, which is advocated by related ideas from differential privacy and blinded data analysis. We discuss the connections between these techniques and our framework, and supplement our results with illustrative simulations.

研究动机与目标

• 解决由于自适应数据分析导致的科学可重现性危机，其中分析人员基于数据迭代选择假设。
• 阐明为何即使出于诚实意图，标准统计方法在自适应环境下也会失效。
• 开发一种通用且可证明的方法，以量化任意自适应分析过程中的偏差。
• 为常见实践（如特征选择和加噪）提供偏差的理论保证。
• 将该框架与现有概念（如差分隐私和盲分析）联系起来，统一不同方法论的洞察。

提出的方法

• 提出一种基于互信息的偏差上界，用于自适应数据分析中估计器的偏差，以衡量数据与分析路径之间的依赖性。
• 将自适应分析过程形式化为一系列查询，其中每个查询都依赖于同一数据集上先前的结果。
• 推导出一个理论上的偏差上界，其依赖于数据与查询序列之间的互信息。
• 证明该上界在自然统计模型（如高斯位置模型）中是紧致的。
• 将该框架应用于评估特定协议，包括基于排名和基于方差的特征选择。
• 分析在观测值或报告统计量中添加噪声的影响，将其与差分隐私和盲分析技术联系起来。

实验结果

研究问题

• RQ1 当分析选择依赖于同一数据集上的先前结果时，如何对自适应数据分析中的偏差进行形式化量化？
• RQ2 基于排名或方差的常见特征选择方法在多大程度上引入偏差？这些偏差能否被界定？
• RQ3 向数据或统计量中添加噪声是否可作为控制偏差的机制？其与所提出的信息论框架有何关联？
• RQ4 数据与分析路径之间的互信息如何影响估计偏差的大小？
• RQ5 在何种场景下所提出的互信息上界是紧致的？这对实际偏差控制意味着什么？

主要发现

• 数据与查询序列之间的互信息为自适应分析过程中任意估计器的偏差提供了可证明的上界。
• 该上界在自然模型（如高斯位置模型）中是紧致的，证实了其理论上的合理性。
• 诸如基于排名或方差的特征选择等方法可能引入显著偏差，该框架能够量化并解释这些偏差。
• 在观测值或报告统计量中添加噪声可降低互信息，从而限制偏差，这与差分隐私的见解一致。
• 该框架揭示，并非所有自适应过程都以相同程度面临偏差风险，为区分更安全与更危险的实践提供了原则性方法。
• 模拟结果证实，理论上的上界与各种自适应分析场景中的经验偏差高度吻合。