[논문 리뷰] Typicality-Based Stability and Privacy.

Raef Bassily, Yoav Freund|arXiv (Cornell University)|2016. 04. 12.

Privacy-Preserving Technologies in Data인용 수 3

한 줄 요약

이 논문은 일반적인 안정성이라는 새로운 알고리즘 안정성 개념을 소개한다. 이 개념은 차별적 비밀유지의 유한 감도 요구 조건을 대체하여, 쿼리 출력값이 데이터 분포 하에서 기대값 주위에 견고하게 집중되어야 한다는 농도 조건을 도입한다. 이는 하위가우시안 및 하위지수적 쿼리에 대해 작은 일반화 오차를 보장하며, 후처리 및 적응형 복합화를 지원하고, 분포 기반의 노이즈 캘리브레이션을 가능하게 하는 노이즈 추가 메커니즘을 제공한다.

ABSTRACT

In this paper, we introduce a new notion of algorithmic stability called typical stability. When our goal is to release real-valued queries (statistics) computed over a dataset, this notion does not require the queries to be of bounded sensitivity -- a condition that is generally assumed under a standard notion of algorithmic stability known as differential privacy [DMNS06, Dwo06]. Instead, typical stability requires the output of the query, when computed on a dataset drawn from the underlying distribution, to be well-concentrated around its expected value with respect to that distribution. Typical stability can also be motivated as an alternative definition for database privacy (in such case, we call it typical privacy). Like differential privacy, this notion enjoys several important properties including robustness to post-processing and adaptive composition. We also discuss the guarantees of typical stability on the generalization error for a broader class of queries than that of bounded-sensitivity queries. This class contains all queries whose output distributions have a light tail, e.g., subgaussian and subexponential queries. In particular, we show that if a typically stable interaction with a dataset yields a query from that class, then this query when evaluated on the same dataset will have small generalization error with high probability (i.e., it will not overfit to the dataset). We discuss the composition guarantees of typical stability and prove a composition theorem that gives a characterization of the degradation of the parameters of typical stability/privacy under $k$-fold adaptive composition. We also give simple noise-addition algorithms that achieve this notion. These algorithms are similar to their differentially private counterparts, however, the added noise is calibrated differently.

연구 동기 및 목표

• 차별적 비밀유지를 위한 감도의 유한성 요구 조건이라는 한계를 해결하기 위해, 쿼리 출력값이 평균 주위에 집중되어야 한다는 원칙을 기반으로 하는 새로운 안정성 개념을 도입한다.
• 후처리 및 적응형 복합화에 강건한 새로운 비밀유지 프레임워크인 일반적인 비밀유지(usual privacy)를 정의한다.
• 일반적인 안정성이 감도가 유한한 쿼리 외에도 하위가우시안 및 하위지수적 쿼리와 같은 더 넓은 클래스의 쿼리에 대해 일반화 보장을 제공함을 보여준다.
• 감도가 아닌 쿼리의 尾행동에 따라 노이즈가 캘리브레이션된 노이즈 추가 메커니즘을 개발한다.

제안 방법

• 데이터 분포에서 샘플링된 데이터셋에 대해 쿼리의 출력값이 그 분포 하에서 기대값 주위에 견고하게 집중되어야 한다는 조건으로 일반적인 안정성을 정의한다.
• 동일한 집중 원칙을 기반으로 한 비밀유지 개념인 일반적인 비밀유지(usual privacy)를 수학적으로 정식화하여, 후처리 및 적응형 복합화에 강건함을 보장한다.
• 일반적인 안정성 하에서 k중 적응형 복합화에 대한 복합화 정리를 수립하여, 다중 쿼리에 걸쳐 안정성 파rameter의 열화를 특성화한다.
• 감도가 아닌 하위가우시안 또는 하위지수적 노름에 따라 노이즈가 캘리브레이션된 노이즈 추가 메커니즘을 제안한다.
• 농도 부등식(예: 하위가우시안 尾부 경계)을 사용하여 일반적인 안정성 하에서 일반화 오차의 확률적 경계를 유도한다.
• 가벼운 꼬리 분포를 가진 쿼리의 경우, 일반적인 안정성이 높은 확률로 작은 일반화 오차를 암시함을 증명한다.

실험 결과

연구 질문

• RQ1 감도가 유한하지 않아도 비밀성과 일반화를 보장할 수 있는 안정성 개념을 정의할 수 있는가?
• RQ2 일반적인 안정성이 감도가 유한한 쿼리 외에도 하위가우시안 또는 하위지수적 쿼리와 같은 쿼리에 대해 일반화 보장을 제공하는가?
• RQ3 적응형 복합화 하에서 일반적인 안정성은 어떻게 행동하며, 복합화 정리를 수립할 수 있는가?
• RQ4 감도가 아닌 쿼리의 꼬리 행동에 따라 노이즈가 캘리브레이션된 노이즈 추가 메커니즘을 설계할 수 있는가?
• RQ5 일반적인 안정성은 후처리에 강건한가? 이 경우 차별적 비밀유지와 비교해보면 어떠한가?

주요 결과

• 일반적인 안정성은 하위가우시안 또는 하위지수적 쿼리와 같이 꼬리가 가벼운 출력 분포를 가진 쿼리에 대해 높은 확률로 작은 일반화 오차를 보장한다.
• 일반적인 안정성 하에서 k중 적응형 복합화에 대한 복합화 정리를 수립하여, 안정성 파rameter의 열화를 특성화하였다.
• 감도가 아닌 하위가우시안 또는 하위지수적 노름에 따라 노이즈가 캘리브레이션된 노이즈 추가 메커니즘을 제안하였다.
• 일반적인 안정성은 차별적 비밀유지와 마찬가지로 후처리에 강건하여, 출력의 어떤 변환도 여전히 안정성을 유지한다.
• 일반적인 비밀유지 프레임워크는 감도의 유한성 요구 조건을 완화하면서도 핵심적인 비밀성 및 일반화 성질을 유지하는 차별적 비밀유지의 타당한 대안을 제공한다.
• 꼬리가 가벼운 출력 분포를 가진 쿼리의 경우, 일반적인 안정성은 경험적 성능이 높은 확률로 진짜 성능에 가까워지며, 과적합을 방지함을 암시한다.