[논문 리뷰] Private Mean Estimation of Heavy-Tailed Distributions

Gautam Kamath, Vikrant Singhal외 1명|arXiv (Cornell University)|2020. 02. 21.

Privacy-Preserving Technologies in Data참고 문헌 52인용 수 15

한 줄 요약

이 논문은 k차 모멘트가 유계인 단변량 및 다변량 분포에 대한 미분적 보안(mean estimation)의 표본 복잡도에 대해 날카러운 하한을 설정하며, 특히 첨도가 높은 분포의 경우 서브-가우시안 분포보다 보다 높은 비용이 발생함을 보여준다. 단변량 분포에서 k차 모멘트가 유계일 경우, 최적의 표본 복잡도는 Θ(1/α² + 1/(εα^{k/(k−1)}) + log(R)/ε)이며, 이는 비공식적 설정과는 질적으로 다른 방식으로 모멘트 파라미터 k에 의존함을 보여준다.

ABSTRACT

We give new upper and lower bounds on the minimax sample complexity of differentially private mean estimation of distributions with bounded $k$-th moments. Roughly speaking, in the univariate case, we show that $n = Θ\left(\frac{1}{α^2} + \frac{1}{α^{\frac{k}{k-1}}\varepsilon} ight)$ samples are necessary and sufficient to estimate the mean to $α$-accuracy under $\varepsilon$-differential privacy, or any of its common relaxations. This result demonstrates a qualitatively different behavior compared to estimation absent privacy constraints, for which the sample complexity is identical for all $k \geq 2$. We also give algorithms for the multivariate setting whose sample complexity is a factor of $O(d)$ larger than the univariate case.

연구 동기 및 목표

• 유계 k차 모멘트 조건 하에서의 미분적 보안 평균 추정에 대한 최소 최대 표본 복잡도를 규명하는 것.
• 기본 분포의 꼬리 행동, 특히 첨도가 높은 분포(예: k ≥ 2)의 경우에 대해 평균 추정의 비용이 어떻게 달라지는지 규명하는 것.
• 단변량에서 다변량 분포로의 분석 확장을 통해 고차원에서의 표본 복잡도 하한을 설정하는 것.
• 동일한 모멘트 제약 조건 하에서 순수, zCDP, 약간의 DP 변형에 대해 날카러운 상한과 하한을 제공하는 것.

제안 방법

• 먼저 비공식 히스토GRAM 메커니즘을 사용해 분포의 범위를 추정한 후, 추정된 범위 내에서 경험 평균에 노이즈를 추가하는 비공식 평균 추정 알고리즘을 제안한다.
• 정밀하게 조정된 노이즈를 사용해 라플라스 메커니즘을 통해 비공식 범위 추정을 수행하여, 미분적 보안을 확보하면서도 정확성을 유지한다.
• k차 모멘트와 비용 파라미터 ε에 맞춰 조정된 노이즈를 사용한 절단된 경험 평균 추정기법을 적용하며, 대칭화 및 모멘트 하한을 활용한다.
• 총변화 거리와 상대 거리 1/4인 코드를 기반으로 한 패킹 추론을 사용해 고차원 설정에서의 하한을 유도한다.
• 순수 ε-DP, zCDP, 약간의 (ε,δ)-DP 등 다양한 비용 정의에 분석을 적응시켜, α와 ε에 대한 표본 복잡도 의존성이 모든 변형에서 점점 더 날카로운 하한을 이룬다는 것을 보여준다.
• 변수 교체 추론을 사용해 k차 모멘트 ≤ 1인 정규화된 분포에서의 결과를 일반적인 분포로 일반화하며, k차 모멘트가 M^kσ^k로 유계일 경우를 다룬다.

실험 결과

연구 질문

• RQ1 k ≥ 2일 때 기저 분포의 k차 모멘트가 유계일 경우, 미분적 보안 평균 추정에 대한 최적의 표본 복잡도는 무엇인가요?
• RQ2 첨도가 높은 분포(k > 2)와 서브-가우시안 분포(k = 2) 간에 평균 추정의 비용은 어떻게 다릅니까?
• RQ3 동일한 모멘트 제약 조건 하에서 순수 및 완화된 미분적 보안 변형에 대해 날카러운 상한과 하한을 설정할 수 있나요?
• RQ4 다변량 설정에서 차원 d에 따라 표본 복잡도가 어떻게 스케일링되며, 비용 파rameter와 정확도에 대한 의존성은 무엇인가요?

주요 결과

• k차 모멘트가 유계인 단변량 분포에 대해, ε-미분적 보안 하에서 최적의 표본 복잡도는 Θ(1/α² + 1/(εα^{k/(k−1)}) + log(R)/ε)이며, 여기서 R는 평균을 유계로 둔다.
• 표본 복잡도는 k에 따라 결정되며, k가 증가할수록 비용이 증가함을 보여주며, 이는 비공식 설정에서 모든 k ≥ 2에 대해 O(1/α²)로 동일한 복잡도를 가지는 것과 질적으로 다른 행동을 보인다.
• 모든 방향에서 두 번째 모멘트가 유계인 다변량 분포에 대해, 표본 복잡도는 Ω(d/α²ε)이며, 이는 단변량 설정 대비 d배 증가함을 보여준다.
• 순수 ε-DP, zCDP, 약간의 (ε,δ)-DP의 세 가지 일반적인 DP 변형 모두에 대해 날카러운 하한을 확립하였으며, 주요 항인 1/α² + 1/(εα^{k/(k−1)})는 모두 공통으로 나타난다.
• 고차원 평균 추정에 대한 하한은, ℓ₂² 오차가 α²/192 이하인 (ε,0)-DP 알고리즘이 반드시 Ω(d/α²ε)개의 표본을 사용해야 한다는 것을 보여주며, 다변량 설정에서 d요소의 최적성을 증명한다.
• 기존 분산과 k차 모멘트 유계값을 기반으로 데이터 스케일링을 통해 정규화 오차에 대한 분석을 일반화하였으며, 정규화 오차 α에 대해 표본 복잡도가 O(M^{k/(k−1)}/(εα^{k/(k−1)}))로 스케일링됨을 보여주었다.