[논문 리뷰] Differentially private sub-Gaussian location estimators

Marco Avella-Medina, Victor-Emmanuel Brunel|arXiv (Cornell University)|2019. 06. 27.

Privacy-Preserving Technologies in Data참고 문헌 25인용 수 10

한 줄 요약

이 논문은 유한한 모멘트나 유한한 지지집합이 없는 조건에서도 하위가우시안 편차 경계를 달성하는 두 가지 새로운 비밀유지 중앙값 추정기들을 소개한다. 첫 번째 방법은 데이터 절단을 통한 부드러운 감도를 활용하고, 두 번째 방법은 절단을 피하기 위해 비밀유지적 '제안-검사-공개' 메커니즘을 사용하며, 둘 다 최소한의 가정 하에 최적의 하위가우시안 오차율을 달성한다.

ABSTRACT

We tackle the problem of estimating a location parameter with differential privacy guarantees and sub-Gaussian deviations. Recent work in statistics has focused on the study of estimators that achieve sub-Gaussian type deviations even for heavy tailed data. We revisit some of these estimators through the lens of differential privacy and show that a naive application of the Laplace mechanism can lead to sub-optimal results. We design two private algorithms for estimating the median that lead to estimators with sub-Gaussian type errors. Unlike most existing differentially private median estimators, both algorithms are well defined for unbounded random variables that are not even required to have finite moments. We then turn to the problem of sub-Gaussian mean estimation and show that under heavy tails natural differentially private alternatives lead to strictly worse deviations than their non-private sub-Gaussian counterparts. This is in sharp contrast with recent results that show that from an asymptotic perspective the cost of differential privacy is negligible.

연구 동기 및 목표

• 유계가 아니며 꼬리가 두꺼운 데이터에 대해 하위가우시안 편차를 보이는 비밀유지 중심경향성 추정기의 부족을 해결한다.
• 비밀유지 기준에서 중앙값과 평균 추정에 대해 난이도 높은 라플라스 메커니즘 적용의 한계를 극복한다.
• 유한한 모멘트나 유한한 지지집합이 없는 경우에도 하위가우시안 오차율을 유지하는 비밀유지 추정기를 설계한다.
• 비밀유지된 표준 평균 추정기가 꼬리가 두꺼운 조건에서 비밀유지되지 않은 대응체의 하위가우시안 성능을 따라잡지 못함을 보여준다.
• 특히 저모멘트 설정에서 하위가우시안 유형 성능을 갖는 비밀유지 강력 추정의 프레임워크를 제공한다.

제안 방법

• 유계가 아닌 데이터에 대한 중앙값 추정 문제에 대해 [28]의 부드러운 감도 캘리브레이션을 적응하여, 감도 제어를 위해 절단을 사용한다.
• 데이터 구성이 유리한지 사전에 비밀유지적으로 검사한 후 노이즈가 섞인 중앙값 추정치를 공개하는 비밀유지적 '제안-검사-공개' 메커니즘을 도입한다.
• 오차의 고확률 제어를 보장하면서 데이터 절단을 피하기 위해 비밀유지 예산 할당 전략을 사용한다.
• 블록 평균을 절단한 후 라플라스 메커니즘을 중앙값의 평균 추정기에 적용하여 유한한 부드러운 감도를 확보한다.
• '제안-검사-공개' 프레임워크에서 '응답 없음'의 확률을 제어하기 위해 블록 평균 간의 기대 분리도를 바탕으로 임계값 η를 설정한다.
• 유도된 추정기가 고확률 1−α 하에 순서 √(log(2/α)/n)의 하위가우시안 오차 경계를 달성함을 증명한다.

실험 결과

연구 질문

• RQ1 비밀유지 중앙값 추정기들이 유계 데이터나 유한한 모멘트를 가정하지 않고도 하위가우시안 편차를 달성할 수 있는가?
• RQ2 왜 난이도 높은 라플라스 메커니즘 적용은 유계가 아닌 데이터에서 중앙값 추정에 실패하는가?
• RQ3 '제안-검사-공개' 프레임워크를 적응시켜 데이터 절단 없이도 비밀유지 중앙값 추정에서 하위가우시안 오차 경계를 달성할 수 있는가?
• RQ4 비밀유지된 하위가우시안 평균 추정기들(예: 중앙값의 평균, 절단 평균)은 비밀유지되지 않은 대응체와 마찬가지로 최적의 하위가우시안 오차율을 유지하는가?
• RQ5 꼬리가 두꺼운 분포 하에서 비밀유지된 추정과 비비밀유지된 추정 간에 본질적인 격차가 존재하는가?

주요 결과

• 절단을 통한 부드러운 감도 기반 추정기는 고확률 1−α 하에 순서 √(log(2/α)/n)의 하위가우시안 오차 경계를 달성한다.
• 제안-검사-공개 기반 추정기는 데이터 절단을 피하면서도 동일한 하위가우시안 오차율을 달성한다. 이는 유리한 데이터 구성 조건을 비밀유지적으로 검증함으로써 가능하다.
• 나이브한 라플라스 메커니즘은 국소 감도가 유한하더라도 전역 감도와 부드러운 감도가 무한하기 때문에 중앙값 추정에 실패한다.
• 비밀유지된 표준 하위가우시안 평균 추정기들(예: 중앙값의 평균, 절단 평균)은 비밀유지되지 않은 대응체와 달리 꼬리가 두꺼운 조건에서 하위가우시안 편차를 달성하지 못한다.
• 절단된 중앙값의 평균 추정기의 부드러운 감도는 2T 이하로 유한하며, 이는 T가 데이터 스케일에 대해 적절히 선택될 경우 비밀유지 보장을 가능하게 한다.
• 제안-검사-공개 메커니즘에서 '응답 없음'의 확률은 η를 순서 1/√(nα)로 설정함으로써 낮게 유지되어 고확률 유용성을 확보한다.