[논문 리뷰] More General Queries and Less Generalization Error in Adaptive Data Analysis

Raef Bassily, Adam Smith외 2명|arXiv (Cornell University)|2015. 03. 16.

Privacy-Preserving Technologies in Data참고 문헌 14인용 수 11

한 줄 요약

이 논문은 일반화 오차를 줄이기 위해 차별적 프라이버시를 활용하는 더 단순하고 모듈화된 알고리즘을 도입함으로써 적응형 데이터 분석의 샘플 복잡도 상한을 향상시킨다. 저자는 Dwork 등과 Hardt 및 Ullman의 이전 작업을 크게 향상시켜, 저감도 및 볼록 리스크 최소화 쿼리와 같은 일반 쿼리 가족에 대해 처음으로 상한을 제시한다.

ABSTRACT

Adaptivity is an important feature of data analysis---typically the choice of questions asked about a dataset depends on previous interactions with the same dataset. However, generalization error is typically bounded in a non-adaptive model, where all questions are specified before the dataset is drawn. Recent work by Dwork et al. (STOC '15) and Hardt and Ullman (FOCS '14) initiated the formal study of this problem, and gave the first upper and lower bounds on the achievable generalization error for adaptive data analysis. Specifically, suppose there is an unknown distribution $\mathcal{P}$ and a set of $n$ independent samples $x$ is drawn from $\mathcal{P}$. We seek an algorithm that, given $x$ as input, "accurately" answers a sequence of adaptively chosen "queries" about the unknown distribution $\mathcal{P}$. How many samples $n$ must we draw from the distribution, as a function of the type of queries, the number of queries, and the desired level of accuracy? In this work we make two new contributions towards resolving this question: *We give upper bounds on the number of samples $n$ that are needed to answer statistical queries that improve over the bounds of Dwork et al. *We prove the first upper bounds on the number of samples required to answer more general families of queries. These include arbitrary low-sensitivity queries and the important class of convex risk minimization queries. As in Dwork et al., our algorithms are based on a connection between differential privacy and generalization error, but we feel that our analysis is simpler and more modular, which may be useful for studying these questions in the future.

연구 동기 및 목표

• 동일한 데이터셋과 이전 상호작용에 따라 의존하는 쿼리가 존재하는 적응형 데이터 분석에서 일반화 오차를 제어하는 과제를 해결하기 위해.
• 특히 적응형 설정에서, 통계적 쿼리에 대한 기존의 샘플 복잡도 상한을 향상시키기 위해.
• 기본적인 통계적 쿼리 이상의 더 일반적인 가족, 예를 들어 저감도 및 볼록 리스크 최소화 쿼리에 이론적 보장을 확장하기 위해.
• 차별적 프라이버시 기반 일반화의 분석을 더 단순하고 모듈화된 방식으로 개선하여 향후 연구에 더 접근하기 쉽게 만들기 위해.

제안 방법

• 저자들은 차별적 프라이버시와 일반화 오차 사이의 연결 고리를 활용하여, 적응형 쿼리 워크로드에서 과적합을 제한하는 프라이버시 메커니즘을 사용한다.
• 적응형 쿼리에 정확하게 답하면서도 차별적 프라이버시를 유지하는 새로운 알고리즘을 설계하여, 낮은 일반화 오차를 보장한다.
• 이 방법은 모듈화되어 있어, 감도와 구조를 분석함으로써 다양한 쿼리 가족에 대해 체계적으로 분석할 수 있다.
• 볼록 리스크 최소화 쿼리의 경우, 부드러움과 볼록성 성질을 활용하여 더 날카운 샘플 복잡도 상한을 유도한다.
• 감도 기반 메커니즘에 초점을 맞춤으로써 복잡한 종속성을 피하고, 이전 증명을 단순화한다.
• 이 프레임워크는 유계 및 비유계 쿼리 가족을 모두 지원하여 더 넓은 적용 가능성을 제공한다.

실험 결과

연구 질문

• RQ1 적응형 통계적 쿼리를 낮은 일반화 오차로 답변하기 위해 필요한 최소 샘플 수는 얼마인가?
• RQ2 기본적인 통계적 쿼리 이상의 더 복잡한 쿼리 가족에 대해 일반화 오차는 어떻게 제한할 수 있는가?
• RQ3 차별적 프라이버시를 더 단순하고 모듈화된 방식으로 사용하여 더 날카운 샘플 복잡도 상한을 달성할 수 있는가?
• RQ4 적응형 설정에서 저감도 및 볼록 리스크 최소화 쿼리에 대해 어떤 샘플 복잡도가 달성 가능한가?
• RQ5 제안된 방법은 Dwork 등과 Hardt 및 Ullman의 결과에 비해 샘플 효율성 측면에서 어떻게 향상되는가?

주요 결과

• 논문은 적응형 통계적 쿼리에 대해 샘플 복잡도 상한을 향상시켜 Dwork 등이 이전에 제시한 결과를 뛰어넘는다.
• 저감도 쿼리에 대해 샘플 복잡도 상한을 처음으로 제시하여, 증명 가능하게 일반화 가능한 알고리즘의 범위를 확장한다.
• 볼록 리스크 최소화 쿼리의 경우, 문제의 매개변수에 따라 효율적으로 스케일링되는 샘플 복잡도로 유한한 일반화 오차를 달성한다.
• 제안된 알고리즘은 이전 접근 방식보다 더 단순하고 모듈화되어 있어, 향후 확장과 분석을 용이하게 한다.
• 차별적 프라이버시와 일반화 간의 연결 고리는 이론적 명확성과 실용적 적용 가능성을 모두 향상시키는 방식으로 형식화된다.