[논문 리뷰] Privacy Induces Robustness: Information-Computation Gaps and Sparse Mean Estimation

Kristian Georgiev, Samuel B. Hopkins|arXiv (Cornell University)|2022. 11. 01.

Privacy-Preserving Technologies in Data인용 수 5

한 줄 요약

이 논문은 미분적 비밀보장성과 강건성 사이의 기본적인 연결고리를 확립한다: 미분적 비밀보장성에서 높은 성공 확률을 달성하는 메커니즘은 입력 데이터의 일정 비율을 차지하는 적대적 오염에 대해 본질적으로 강건하다. 저자들은 메타정리와 함께 이를 입증하고, 희소 평균 추정 문제에 적용하여, 최적의 비밀보장 메커니즘—특히 SoS(합의 제곱) 방법에 기반한 것들—이 타당한 복잡도 이론적 가정(예: 심은 클리크 추측) 하에 근사 최적의 표본 복잡도를 달성하면서도 강건함을 보임을 보여준다.

ABSTRACT

We establish a simple connection between robust and differentially-private algorithms: private mechanisms which perform well with very high probability are automatically robust in the sense that they retain accuracy even if a constant fraction of the samples they receive are adversarially corrupted. Since optimal mechanisms typically achieve these high success probabilities, our results imply that optimal private mechanisms for many basic statistics problems are robust. We investigate the consequences of this observation for both algorithms and computational complexity across different statistical problems. Assuming the Brennan-Bresler secret-leakage planted clique conjecture, we demonstrate a fundamental tradeoff between computational efficiency, privacy leakage, and success probability for sparse mean estimation. Private algorithms which match this tradeoff are not yet known -- we achieve that (up to polylogarithmic factors) in a polynomially-large range of parameters via the Sum-of-Squares method. To establish an information-computation gap for private sparse mean estimation, we also design new (exponential-time) mechanisms using fewer samples than efficient algorithms must use. Finally, we give evidence for privacy-induced information-computation gaps for several other statistics and learning problems, including PAC learning parity functions and estimation of the mean of a multivariate Gaussian.

연구 동기 및 목표

• 다양한 비밀보장 알고리즘이 적대적 데이터 오염에 대해 본질적으로 강건한가를 조사한다.
• 통계적 추정 문제에서 비밀보장성, 계산 효율성, 표본 복잡도 간의 상호작용을 탐색한다.
• 복잡도 이론적 가정 하에 비밀보장 희소 평균 추정에서 정보-계산 갭을 확립한다.
• 비밀보장성, 정확도, 표본 복잡도 간 최적의 트레이드오프를 충족하는 효율적인 비밀보장 알고리즘을 설계한다.
• 비밀보장성과 강건성의 연결 고리를 파라미터 학습, 가우시안 평균 추정 등 다른 문제들로 확장한다.

제안 방법

• 높은 성공 확률을 갖는 비밀보장 메커니즘이 입력의 일정 비율에 대한 적대적 오염에 강건함을 보여주는 메타정리를 제안한다.
• 합의 제곱(SoS) 방법을 사용하여 희소 평균 추정 문제에 대해 다항시간 비밀보장 알고리즘을 설계하며, 표본 복잡도는 Õ(k²)이다.
• 정보 이론적으로 최적의 표본 복잡도를 달성하는 지수시간 비밀보장 메커니즘을 구축한다. 이는 효율적 알고리즘의 임계값 이하이다.
• Brennan-Bresler의 비밀 유출 심은 클리크 추측을 활용하여 강건한 희소 평균 추정의 계산 하한을 증명한다.
• CWZ21 알고리즘을 순수한 미분적 비밀보장성에 맞게 수정하여, 벌크 단계에서 고급 조합 대신 기본 조합을 사용한다.
• Rényi 산란도와 농도 경계를 사용하여 zCDP(제로 농도 미분적 비밀보장성) 버전의 강건성 메타정리를 수립한다.

실험 결과

연구 질문

• RQ1 다양한 비밀보장 메커니즘은 자동으로 적대적 데이터 오염에 강건한가?
• RQ2 다양한 비밀보장성을 요구할 경우 통계적 추정 문제에서 계산 장벽이 발생하는가?
• RQ3 비밀보장 희소 평균 추정에서 표본 복잡도, 비밀보장성, 계산 효율성 간 최적의 트레이드오프는 무엇인가?
• RQ4 정보 이론적으로 최적의 비밀보장 메커니즘을 강건하게 만들 수 있는가?
• RQ5 다른 통계 문제, 예를 들어 파라미터 학습 또는 가우시안 평균 추정에서 비밀보장성이 정보-계산 갭을 얼마나 유도하는가?

주요 결과

• 성공 확률이 높은(≥1−β) 비밀보장 메커니즘은 입력의 최대 η(n) = O(log(1/β)/(ερn)) 비율에 대해 적대적 오염에 강건하며, 여기서 ε는 비밀보장 파라미터에 따라 달라진다.
• Brennan-Bresler의 심은 클리크 추측 하에, 희소 평균 추정에 대해 강건한 알고리즘은 진짜 지지 집합을 알고 있더라도 Ω(k²)개의 표본이 필요하다.
• 합의 제곱 방법은 Õ(k²) 표본 복잡도를 갖는 다항시간 비밀보장 알고리즘을 제공하며, 이는 추측된 하한선에 다항로그 인자 이내로 일치한다.
• 지수시간 비밀보장 메커니즘은 희소 평균 추정에서 O(k log d) 표본 복잡도를 달성할 수 있으며, 이는 비비밀보장 정보 이론 하한선과 일치한다.
• 논문은 강건성 메타정리의 zCDP 버전을 제공하며, ρ-zCDP 메커니즘은 η(n) = O(log(1/δ)/(ε(ρ,δ)n + log n)) 오염에 강건함을 보여준다. 여기서 ε(ρ,δ) = ρ + 2√(ρ log(1/δ))이다.
• CWZ21 알고리즘의 수정된 버전은 벌크 단계에서 고급 조합 대신 기본 조합을 사용함으로써 순수한 ε-DP를 달성하며, 더 엄격한 조건 하에서도 비밀보장을 보장한다.