[논문 리뷰] Generalization in Adaptive Data Analysis and Holdout Reuse

Cynthia Dwork, Vitaly Feldman외 4명|arXiv (Cornell University)|2015. 06. 08.

Privacy-Preserving Technologies in Data참고 문헌 35인용 수 101

한 줄 요약

이 논문은 차등적 비밀리어티와 기술 길이 원칙을 통해 적응적 데이터 분석에서 히든 셋을 안전하게 재사용할 수 있도록 해주는 실용적인 알고리즘인 Thresholdout을 소개한다. 적응적 선택된 가설에 대해서도 일반화 보장을 엄밀히 보장하며, 표준 히든 셋 방법보다 더 우수한 성능을 보이며 과적합을 방지한다.

ABSTRACT

Overfitting is the bane of data analysts, even when data are plentiful. Formal approaches to understanding this problem focus on statistical inference and generalization of individual analysis procedures. Yet the practice of data analysis is an inherently interactive and adaptive process: new analyses and hypotheses are proposed after seeing the results of previous ones, parameters are tuned on the basis of obtained results, and datasets are shared and reused. An investigation of this gap has recently been initiated by the authors in (Dwork et al., 2014), where we focused on the problem of estimating expectations of adaptively chosen functions. In this paper, we give a simple and practical method for reusing a holdout (or testing) set to validate the accuracy of hypotheses produced by a learning algorithm operating on a training set. Reusing a holdout set adaptively multiple times can easily lead to overfitting to the holdout set itself. We give an algorithm that enables the validation of a large number of adaptively chosen hypotheses, while provably avoiding overfitting. We illustrate the advantages of our algorithm over the standard use of the holdout set via a simple synthetic experiment. We also formalize and address the general problem of data reuse in adaptive data analysis. We show how the differential-privacy based approach given in (Dwork et al., 2014) is applicable much more broadly to adaptive data analysis. We then show that a simple approach based on description length can also be used to give guarantees of statistical validity in adaptive settings. Finally, we demonstrate that these incomparable approaches can be unified via the notion of approximate max-information that we introduce.

연구 동기 및 목표

• 데이터에 따라 결정되는 다수의 질의에서 반복적으로 사용되는 히든 셋으로 인한 과적합 문제를 해결하기 위해.
• 통계적 타당성을 훼손하지 않고 단일 히든 셋에서 가설을 검증하기 위한 실용적인 방법을 개발하기 위해.
• 차등적 비밀리어티와 기술 길이라는 두 가지 별개의 이론적 접근을 통합하여 일반화 보장을 위한 공통 프레임워크를 마련하기 위해.
• 적응적 데이터 분석에서의 데이터 재사용 문제를 체계적으로 정의하고 해결하여 최종 출력물이 근본적인 데이터 분포로 일반화됨을 보장하기 위해.

제안 방법

• 적응적 질의에 대해 낮은 민감도를 유지하면서도 히든 셋에서 가설의 정확도를 추정하기 위해 차등적 비밀리어티 메커니즘을 사용하는 Thresholdout 알고리즘을 제안한다.
• 학습 세트와 히든 셋에서의 경험적 정확도를 비교하는 임계값 기반 메커니즘을 도입하여, 차이가 사전 정의된 임계값 이하일 경우에만 안정적인 추정치를 반환한다.
• 다양한 일반화 보장을 가진 알고리즘을 분석하고 조합하기 위해 약간의 최대 정보를 통합된 측도로 도입한다.
• 적응적 환경에서 상호보완적이지만 상호 비교가 불가능한 일반화 보장을 제공하기 위해 차등적 비밀리어티와 기술 길이 경계를 결합한다.
• 검증 과정 자체가 적응적 재사용으로 인해 과적합의 원인이 되지 않도록 하면서도, 히든 셋을 사용해 모델 성능을 검증한다.
• 두 단계 검증 프로세스를 사용한다: 첫 번째로, 모델이 학습 세트에서의 성능과 히든 셋에서의 성능이 일관된지 확인한다; 두 번째로, 일관성이 확보된 경우에만 안정적인 추정치를 반환한다.

실험 결과

연구 질문

• RQ1 적응적 데이터 분석에서 과적합을 일으키지 않고 단일 히든 셋을 반복적으로 안전하게 재사용할 수 있는가?
• RQ2 이전 결과에 기반해 적응적으로 선택된 가설이 있을 때 일반화 보장이 어떻게 유지될 수 있는가?
• RQ3 적응적 분석에서 통계적 타당성을 보장하기 위해 차등적 비밀리어티와 기술 길이 사이의 관계는 무엇인가?
• RQ4 차등적 비밀리어티와 기술 길이와 같은 서로 다른 일반화 기법을 조합하면서도 각각의 보장을 유지할 수 있는가?
• RQ5 적응적 히든 셋 재사용 맥락에서 차등적 비밀리어티가 제공하는 일반화 보장보다 더 강력한 보장을 달성할 수 있는가?

주요 결과

• 합성 실험에서 Thresholdout은 반복적인 적응적 질의 조건에서도 히든 셋에 대한 과적합을 효과적으로 방지하며, 분류기 성능의 정확한 추정치를 유지한다.
• 상관성이 없는 변수를 가진 실험에서 표준 히든 셋은 심각한 과적합을 보였지만, Thresholdout은 안정적이고 정확한 일반화 오차 추정치를 제공하였다.
• 변수와 레이블 간 상관성이 있을 경우에도 Thresholdout은 진정한 패턴을 탐지하면서 과적합을 피할 수 있었으며, 현실적인 환경에서도 뛰어난 강건성을 보였다.
• Thresholdout이 보고한 정확도는 새로이 독립된 테스트 세트에서의 진짜 정확도와 매우 유사했으며, 이는 히든 데이터에 대한 과적합이 발생하지 않았음을 시사한다.
• 분석자는 히든 셋 추정치를 바탕으로 추가적인 데이터 기반 결정을 내릴 수 있으며, 이 과정에서 통계적 타당성이 손상되지 않는다.
• 이론적 분석 결과, 두 접근법인 차등적 비밀리어티와 기술 길이 경계는 상호 비교가 불가능하지만 상호보완적인 일반화 보장을 제공하며, 이들의 조합은 약간의 최대 정보 개념을 통해 가능해진다.