[논문 리뷰] Controlling Bias in Adaptive Data Analysis Using Information Theory

Daniel Russo, James Zou|arXiv (Cornell University)|2015. 11. 16.

Distributed Sensor Networks and Detection Algorithms인용 수 97

한 줄 요약

이 논문은 동일한 데이터셋에 대한 이전 결과에 따라 분석 선택이 결정되는 적응형 데이터 분석에서 편향을 정량화하고 경계하는 데 상호정보량을 사용하는 정보이론적 프레임워크를 제안한다. 이는 자연스러운 모델에서 경계가 날카로운 것으로 증명되며, 특징 선택 및 노이즈 추가와 같은 절차들이 편향에 대해 엄밀하게 평가될 수 있음을 보여주며, 적응형 워크플로우에서 잘못된 발견에 대한 증명 가능한 보호 조치를 제공한다.

ABSTRACT

Modern data is messy and high-dimensional, and it is often not clear a priori what are the right questions to ask. Instead, the analyst typically needs to use the data to search for interesting analyses to perform and hypotheses to test. This is an adaptive process, where the choice of analysis to be performed next depends on the results of the previous analyses on the same data. It's widely recognized that this process, even if well-intentioned, can lead to biases and false discoveries, contributing to the crisis of reproducibility in science. But while adaptivity renders standard statistical theory invalid, folklore and experience suggest that not all types of adaptive analysis are equally at risk for false discoveries. In this paper, we propose a general information-theoretic framework to quantify and provably bound the bias and other statistics of an arbitrary adaptive analysis process. We prove that our mutual information based bound is tight in natural models, and then use it to give rigorous insights into when commonly used procedures do or do not lead to substantially biased estimation. We first consider several popular feature selection protocols, like rank selection or variance-based selection. We then consider the practice of adding random noise to the observations or to the reported statistics, which is advocated by related ideas from differential privacy and blinded data analysis. We discuss the connections between these techniques and our framework, and supplement our results with illustrative simulations.

연구 동기 및 목표

• 분석자가 데이터를 기반으로 반복적으로 가설을 선택하는 적응형 데이터 분석으로 인해 발생하는 과학적 재현성 위기를 해결한다.
• 성실한 의도를 가진 표준 통계 방법이 적응성 하에서 왜 실패하는지 밝힌다.
• 임의의 적응형 분석 과정에서 편향을 정량화할 수 있는 일반적이고 증명 가능한 방법을 개발한다.
• 특징 선택 및 노이즈 추가와 같은 일반적인 관행에 대한 편향에 대한 이론적 보장을 제공한다.
• 차별적 프라이버시와 망명 분석과 같은 기존 개념과 연결하여 다양한 방법론 간의 통찰을 통합한다.

제안 방법

• 데이터와 분석 경로 간의 종속성을 측정함으로써 적응형 데이터 분석에서 추정기의 편향에 대한 상호정보량 기반 경계를 제안한다.
• 각 쿼리가 동일한 데이터셋에서 이전 결과에 의존하는 쿼리의 순서로 적응형 분석 과정을 수학적으로 정의한다.
• 데이터와 쿼리의 순서 사이의 상호정보량에 따라 의존하는 편향의 이론적 상한을 유도한다.
• 이 경계가 가우스 위치 모델과 같은 자연스러운 통계 모델에서 날카로운 것으로 입증된다.
• 순위 기반 및 분산 기반 특징 선택과 같은 구체적 프로토콜을 평가하기 위해 프레임워크를 적용한다.
• 관측치나 보고된 통계에 노이즈를 추가했을 때의 영향을 분석하며, 이는 차별적 프라이버시와 망명 분석 기법과 연결된다.

실험 결과

연구 질문

• RQ1 동일한 데이터에 대한 이전 결과에 따라 분석 선택이 결정될 경우, 적응형 데이터 분석에서 편향을 공식적으로 어떻게 정량화할 수 있는가?
• RQ2 순위나 분산 기반으로 특징을 선택하는 일반적인 특징 선택 방법은 어느 정도의 편향을 유도하며, 이를 경계할 수 있는가?
• RQ3 관측치나 통계에 노이즈를 추가하는 것이 편향을 제어하는 데 기여할 수 있으며, 이는 제안된 정보이론적 프레임워크와 어떻게 관련되는가?
• RQ4 데이터와 분석 경로 사이의 상호정보량은 추정에서 편향의 크기와 어떻게 관련되는가?
• RQ5 제안된 상호정보량 경계가 어떤 설정에서 날카로운가? 이는 실용적 편향 제어에 어떤 함의를 갖는가?

주요 결과

• 데이터와 쿼리의 순서 사이의 상호정보량은 적응형 분석 과정에서 어떤 추정기의 편향에 대해서도 증명 가능한 상한을 제공한다.
• 이 경계는 가우스 위치 모델과 같은 자연스러운 모델에서 날카로운 것으로 확인되어 이론적 타당성을 입증한다.
• 순위 선택 또는 분산 기반 선택과 같은 특징 선택 방법은 상당한 편향을 유도할 수 있으며, 이는 프레임워크가 정량화하고 설명한다.
• 관측치나 보고된 통계에 노이즈를 추가하면 상호정보량이 감소하고, 결과적으로 편향이 경계되며, 이는 차별적 프라이버시의 통찰과 일치한다.
• 이 프레임워크는 모든 적응형 절차가 동일한 정도로 편향에 취약하지 않음을 드러내며, 더 안전한 절차와 더 위험한 절차를 구분할 수 있는 원칙적인 방법을 제공한다.
• 시뮬레이션을 통해 이론적 경계가 다양한 적응형 분석 시나리오에서 경험적 편향과 밀도 높게 일치함을 확인한다.