[논문 리뷰] Typical Stability

Raef Bassily, Yoav Freund|arXiv (Cornell University)|2016. 04. 12.

Privacy-Preserving Technologies in Data참고 문헌 4인용 수 5

한 줄 요약

이 논문은 유계 감도나 독립적인 표본을 요구하지 않으며, 적응적 데이터 분석에서 일반화 오차를 제어할 수 있는 새로운 알고리즘 안정성 개념인 일반 안정성(generic stability)을 도입한다. 이는 데이터 분포 하에서 쿼리 출력값이 기대값 주변에 집중되도록 보장하여, 하이퍼지수적 또는 하이퍼지수적 쿼리에 대해 조정된 노이즈를 추가하는 메커니즘을 가능하게 한다.

ABSTRACT

In this paper, we introduce a notion of algorithmic stability called typical stability. When our goal is to release real-valued queries (statistics) computed over a dataset, this notion does not require the queries to be of bounded sensitivity -- a condition that is generally assumed under differential privacy [DMNS06, Dwork06] when used as a notion of algorithmic stability [DFHPRR15a, DFHPRR15b, BNSSSU16] -- nor does it require the samples in the dataset to be independent -- a condition that is usually assumed when generalization-error guarantees are sought. Instead, typical stability requires the output of the query, when computed on a dataset drawn from the underlying distribution, to be concentrated around its expected value with respect to that distribution. We discuss the implications of typical stability on the generalization error (i.e., the difference between the value of the query computed on the dataset and the expected value of the query with respect to the true data distribution). We show that typical stability can control generalization error in adaptive data analysis even when the samples in the dataset are not necessarily independent and when queries to be computed are not necessarily of bounded-sensitivity as long as the results of the queries over the dataset (i.e., the computed statistics) follow a distribution with a light tail. Examples of such queries include, but not limited to, subgaussian and subexponential queries. We also discuss the composition guarantees of typical stability and prove composition theorems that characterize the degradation of the parameters of typical stability under $k$-fold adaptive composition. We also give simple noise-addition algorithms that achieve this notion. These algorithms are similar to their differentially private counterparts, however, the added noise is calibrated differently.

연구 동기 및 목표

• 유계 감도나 독립적인 표본을 요구하는 기존 안정성 개념의 한계를 해결한다.
• 표본 간 의존성 또는 쿼리의 유계 감도가 없는 경우에도 실수값 쿼리에 적용 가능한 안정성 프레임워크를 개발한다.
• 데이터 의존성과 쿼리 감도에 대한 최소한의 가정 하에 일반화 오차에 대한 이론적 보장을 제공한다.
• k중 적응적 조합 하에서 일반 안정성의 조합 정리를 수립한다.
• 분포에 따라 노이즈를 조정하는 노이즈 추가 메커니즘을 설계하여 일반 안정성을 달성한다.

제안 방법

• 실제 데이터 분포 하에서 쿼리 출력값이 기대값 주변에 집중되는 것으로 일반 안정성을 정의한다.
• 서브가우시안 및 서브지수 꼬리 조건을 사용하여 쿼리 결과의 집중 행동을 특성화한다.
• k개의 적응적 쿼리 반복 과정에서 일반 안정성 파라미터가 어떻게 열악해지는지를 정량화하는 조합 정리를 구성한다.
• 노이즈 분산을 쿼리 출력 분포의 꼬리 행동에 맞게 조정하는 노이즈 추가 메커니즘을 제안한다.
• 경량 꼬리 분포(경량 꼬리 분포)와 일반화 오차 제어 간의 상호작용을 분석한다.
• 쿼리 출력 분포에 맞게 조정된 농도 부등식을 사용하여 일반화 오차의 경계를 유도한다.

실험 결과

연구 질문

• RQ1 쿼리의 유계 감도를 가정하지 않고도 적응적 데이터 분석에서 일반화 오차를 제어할 수 있는가?
• RQ2 데이터 세트 내 표본 간 의존성이 있을 경우 안정적인 성능을 확보할 수 있는가?
• RQ3 반복적인 적응적 쿼리 과정에서 일반 안정성은 어떻게 열악해지며, 이를 제어하는 조합 정리는 무엇인가?
• RQ4 일반 안정성을 달성하면서도 유틸리티를 유지하는 노이즈 조정 전략은 무엇인가?
• RQ5 서브가우시안, 서브지수 등 어떤 종류의 쿼리가 자연스럽게 일반 안정성을 만족하는가?

주요 결과

• 일반 안정성은 쿼리의 유계 감도가 없더라도 적응적 데이터 분석에서 일반화 오차를 제어할 수 있다.
• 이 프레임워크는 의존적인 표본에도 적용 가능하여 일반화 오차 분석에서 일반적인 가정을 완화한다.
• 조합 정리에 따르면 일반 안정성 파라미터가 k개의 적응적 쿼리 과정에서 예측 가능한 방식으로 열악해진다.
• 일반 안정성을 달성하는 노이즈 추가 메커니즘은 차별적 프라이버시 메커니즘과 유사하지만, 노이즈가 쿼리 출력의 꼬리 행동에 맞게 조정된다.
• 서브가우시안 및 서브지수 쿼리는 그들의 경량 꼬리 출력 분포로 인해 자연스럽게 일반 안정성을 만족한다.
• 이 방법은 차별적 프라이버시나 표준 일반화 경계에 요구되는 가정보다 더 약한 조건 하에서도 일반화 보장을 가능하게 한다.