[논문 리뷰] Differentially private multivariate medians

Kelly Ramsay, Aukosh Jagannath외 1명|arXiv (Cornell University)|2022. 10. 12.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

이 논문은 깊이 함수를 사용한 다변량 중앙값 추정에 적용된 적응형 기반 메커니즘에 대한 새로운 농도 부등식을 제안한다. 이는 깊이 기반 중앙값(튜키, 공간, 통합 이중 깊이 등)에 대해 최소한의 분포 가정 하에 날카운 유한 표본 표본 복잡도 경계를 수립하며, 코시와 같은 꼬리가 두꺼운 분포에서는 개인정보 보호 비용이 극히 낮다는 것을 보여준다.

ABSTRACT

Statistical tools which satisfy rigorous privacy guarantees are necessary for modern data analysis. It is well-known that robustness against contamination is linked to differential privacy. Despite this fact, using multivariate medians for differentially private and robust multivariate location estimation has not been systematically studied. We develop novel finite-sample performance guarantees for differentially private multivariate depth-based medians, which are essentially sharp. Our results cover commonly used depth functions, such as the halfspace (or Tukey) depth, spatial depth, and the integrated dual depth. We show that under Cauchy marginals, the cost of heavy-tailed location estimation outweighs the cost of privacy. We demonstrate our results numerically using a Gaussian contamination model in dimensions up to $d = 100$, and compare them to a state-of-the-art private mean estimation algorithm. As a by-product of our investigation, we prove concentration inequalities for the output of the exponential mechanism about the maximizer of the population objective function. This bound applies to objective functions that satisfy a mild regularity condition.

연구 동기 및 목표

• 다변량 중앙값 추정에 대한 유한 표본 성능 보장을 제공하지 못하는 차별적 개인 정보 보호의 문제를 해결하기 위해, 특히 강건한 깊이 기반 중앙값에 대해.
• 평균 추정을 초월하여 다변량 위치 추정에서 개인정보 보호 비용을 이해하는 데의 격차를 메우기 위해, 특히 꼬리가 두꺼운 또는 오염된 모델에서.
• 다변량 설정에서 적응형 기반 메커니즘의 표본 복잡도 경계를 가능하게 하는 일반적인 정규성 조건인 (K, F)-정규성 조건을 개발하기 위해.
• 코시와 같은 꼬리가 두꺼운 분포에서는 강건성이 개인정보 보호 오버헤드를 압도하므로, 개인정보 보호 비용이 극히 낮다는 것을 보여주기 위해.
• 고차원(최대 d=100)에서 정확도와 계산 가능성이 보장되는 실용적인 프레임워크를 제공하기 위해, 개인 정보 보호 기반 깊이 기반 중앙값 추정을 위한 프레임워크를 마련하기 위해.

제안 방법

• 적응형 기반 메커니즘에서의 전역 감도와 표본 복잡도를 모두 통제하는 새로운 정규성 조건인 (K, F)-정규성 조건을 제안한다.
• 약한 정규성 및 연속성 가정 하에, 목표 함수의 인구 최대화자 주변에서 적응형 기반 메커니즘의 출력에 대한 농도 부등식을 유도한다.
• 깊이 함수(예: 튜키, 공간, 통합 이중 깊이)에 적응형 기반 메커니즘을 적용하여, 깊이 최대화자를 다변량 중앙값으로 간주한다.
• VC 이론과 라플라스 기반 메커니즘을 사용하여, 개인 정보 보호된 깊이 값과 그 인구 대응값 사이의 편차를 제한함으로써 고확률 오차 경계를 도출한다.
• 정보 유출로 인해 전체 벡터를 공개할 경우 큰 노이즈가 필요하므로, 표본 점에서의 깊이 값에 대한 개인 정보 보존 샘플링 전략을 도입한다.
• d=100까지의 차원에서 고려된 가우시안 오염 모델을 사용하여 수치적으로 결과를 검증하며, 최신 기술의 개인 정보 보존 평균 추정기와 비교한다.

실험 결과

연구 질문

• RQ1 깊이 함수를 통한 차별적 개인 정보 보호 다변량 중앙값 추정의 유한 표본 표본 복잡도는 무엇인가?
• RQ2 코시와 같은 꼬리가 두꺼운 분포에서는 개인정보 보호 비용이 강건성 비용보다 어떻게 비교되는가?
• RQ3 (K, F)-정규성 조건을 사용하여 다변량 설정에서 적응형 기반 메커니즘의 날카운 표본 복잡도 경계를 도출할 수 있는가?
• RQ4 개인 정보 보호 하에서 표본 점에서의 깊이 값 추정 시 개인정보 보호와 정확도 사이의 트레이드오프는 무엇인가?
• RQ5 고차원, 오염된 또는 꼬리가 두꺼운 데이터에서 개인 정보 보존 깊이 기반 중앙값은 개인 정보 보존 평균 추정기보다 어떻게 성능을 내는가?

주요 결과

• 제안된 (K, F)-정규성 조건은 깊이 기반 중앙값에 대해 O(d log d)의 표본 복잡도 경계를 가능하게 하며, 알려진 개인 정보 보존 가우시안 평균 추정의 하한선과 로그 인자 외에는 일치한다.
• 코시 분포 데이터에서는 강건성 비용(즉, 중앙값 사용)이 개인정보 보호 비용을 초월하므로, 이러한 설정에서는 개인정보 보호 노이즈가 극히 낮다는 것을 의미한다.
• VC 이론과 라플라스 기반 메커니즘을 사용하여 개인 정보 보존 깊이 값의 유한 표본 오차 경계를 도출하였으며, 고확률 농도를 얻었다: Pr(|D̃(x, μ̂n) - D(x, μ)| > t) ≤ (c1n/VC(F))^VC(F) e^{-c2nt²/K²} + e^{-nεt/2K}.
• 개인 정보 보존 깊이 기반 중앙값의 표본 복잡도는 카마스 등(2020)의 개인 정보 보존 평균 추정에 대한 하한선과의 비교를 통해 사실상 날카로운 것으로 확인되었다.
• 표본 점에서 깊이 값의 전체 벡터 개인 정보 보존 추정은 정보 유출이 높아서 실현 가능하지 않으며, 샘플링 오차를 초월하는 노이즈 수준이 필요하다.
• 실용적인 대안으로는 작은 ε를 사용하여 N개의 개인 정보 보존 중앙값 점을 샘플링하는 것으로, 전체 벡터 공개 없이도 후속 추론이 가능하다.