[논문 리뷰] Preserving Statistical Validity in Adaptive Data Analysis

Cynthia Dwork, Vitaly Feldman외 4명|arXiv (Cornell University)|2014. 11. 10.

Privacy-Preserving Technologies in Data참고 문헌 28인용 수 16

한 줄 요약

이 논문은 적응형 데이터 분석에서 통계적 타당성을 유지하기 위해 차별적 프라이버시 기법을 활용하는 새로운 프레임워크를 제안한다. 이는 지수적으로 많은 적응형으로 선택된 쿼리에 대한 기대값을 정확하게 추정할 수 있도록 하는 조정된, 노이즈가 가미된 추정 메커니즘을 사용하여 재사용된 데이터에 대한 과적합을 방지한다. 이로 인해 적응형 쿼리 워크로드 하에서도 오차 한계가 유지된다.

ABSTRACT

A great deal of effort has been devoted to reducing the risk of spurious scientific discoveries, from the use of sophisticated validation techniques, to deep statistical methods for controlling the false discovery rate in multiple hypothesis testing. However, there is a fundamental disconnect between the theoretical results and the practice of data analysis: the theory of statistical inference assumes a fixed collection of hypotheses to be tested, or learning algorithms to be applied, selected non-adaptively before the data are gathered, whereas in practice data is shared and reused with hypotheses and new analyses being generated on the basis of data exploration and the outcomes of previous analyses. In this work we initiate a principled study of how to guarantee the validity of statistical inference in adaptive data analysis. As an instance of this problem, we propose and investigate the question of estimating the expectations of $m$ adaptively chosen functions on an unknown distribution given $n$ random samples. We show that, surprisingly, there is a way to estimate an exponential in $n$ number of expectations accurately even if the functions are chosen adaptively. This gives an exponential improvement over standard empirical estimators that are limited to a linear number of estimates. Our result follows from a general technique that counter-intuitively involves actively perturbing and coordinating the estimates, using techniques developed for privacy preservation. We give additional applications of this technique to our question.

연구 동기 및 목표

• 고정된 가설에 기반한 이론적 통계 추론(예: 고정된 가설)과 실제 세계의 적응형 데이터 분석(이전 결과에 기반한 가설 생성) 사이의 근본적인 괴리를 해결하기 위해.
• 동일한 데이터셋이 여러 번의 적응형으로 선택된 쿼리에 재사용될 때도 통계적 타당성을 보장하는 방법을 개발하기 위해.
• 표준 경험적 추정기의 한계를 극복하기 위해. 이러한 추정기는 과적합과 오차 통제의 부재로 인해 적응형 재사용 하에서는 실패한다.
• 매우 많은 수의 쿼리에 대해 기대값을 정확하게 추정할 수 있는 일반적인 기법을 제공하기 위해. 이는 쿼리가 이전 결과에 기반해 적응적으로 선택되더라도 가능하다.
• 차별적 프라이버시가 개인정보 보호를 넘어서 적응형 환경에서 통계적 타당성 확보에 재사용될 수 있음을 보여주기 위해.

제안 방법

• 이 방법은 독립적인 추정 샘플 집합 $ S_1, \dots, S_r $ 과 별도의 홀드아웃 샘플 $ S_h $ 을 사용하여 답변을 검증한다.
• 추정 샘플이 쿼리 시퀀스에 과적합되고 있는지 탐지하기 위해 SPARSE라고 불리는 차별적 프라이버시 알고리즘을 사용한다.
• 각 쿼리에 대해, 현재 추정 샘플 $ S_c $ 에서 초도 추정치를 계산한 후, SPARSE를 사용해 홀드아웃 샘플 $ S_h $ 와 일관성을 검사한다.
• SPARSE가 $ \bot $ 을 반환하면, $ S_c $ 에서의 추정치는 유효한 것으로 수용된다; 그렇지 않으면 알고리즘이 다음 추정 샘플 $ S_{c+1} $ 으로 전환된다.
• 불일치가 감지될 경우 알고리즘이 추정 샘플을 동적으로 폐기하고 교체함으로써, 통계적으로 타당한 추정치만 반환되도록 보장한다.
• 차별적 프라이버시의 조합 정리들을 사용하여 이론적 보장을 도출함으로써, 오차 한계가 높은 확률로 유지됨을 보장한다.

실험 결과

연구 질문

• RQ1 동일한 데이터셋이 적응형으로 선택된 쿼리의 시퀀스에 사용될 때 통계적 타당성이 유지될 수 있는가?
• RQ2 적응형 데이터 분석 하에서 지수적으로 많은 수의 쿼리에 대해 기대값을 정확하게 추정하는 것은 가능한가?
• RQ3 차별적 프라이버시 기법을 개인정보 보호를 넘어서 통계적 타당성 확보에 재사용할 수 있는가?
• RQ4 재사용된 데이터에 대한 과적합을 방지하면서도 적응형 쿼리 워크로드에서 높은 정확도를 유지할 수 있는가?
• RQ5 적응형으로 선택된 $ m $개의 쿼리에 대해 $ r $라운드의 적응성과 함께 통계적 타당성을 보장하기 위해 필요한 최소 샘플 크기는 얼마인가?

주요 결과

• 알고리즘은 $ m $개의 적응형으로 선택된 함수에 대한 기대값을 추정할 수 있으며, 이는 $ O\left(\frac{r \ln(1/\beta)}{\tau^2}\right) $개의 샘플로만 가능하며, 이는 $ m $에 대해 독립적이다.
• 표준 경험적 추정기의 경우 과적합이 발생하기 전에 선형 수준의 쿼리 수에만 제한되지만, 이 방법은 지수적 개선을 달성한다.
• 샘플 크기가 $ n \geq C \cdot n_{SV}(\tau, \beta) $ 를 만족하면, 모든 쿼리에 대해 오차가 $ \tau $ 를 초과할 확률은 최대 $ \beta $ 이다. 여기서 $ C $ 는 충분히 큰 상수이다.
• 프레임워크는 홀드아웃 세트에 대한 과적합을 성공적으로 방지한다. 이는 과적합된 추정 샘플을 감지하고 폐기하기 때문이다. 이는 쿼리가 적응적으로 선택되더라도 유효하다.
• SPARSE를 임계값 $ T = \tau/4 $ 와 $ \epsilon = \tau/16 $ 로 사용하면, 알고리즘이 실제 적응성 수준에 맞게 적응함을 보장한다. 최악의 경우 경계가 아닌 실제 수준을 기반으로 한다.
• 알고리즘은 최소 $ 1 - m\beta $ 의 확률로 완료되며, 적응성의 라운드 수 $ r $ 가 샘플 복잡도를 결정하는 핵심 매개변수이다.