[논문 리뷰] Robust and Differentially Private Mean Estimation

Xiyang Liu, Weihao Kong외 2명|arXiv (Cornell University)|2021. 02. 18.

Privacy-Preserving Technologies in Data참고 문헌 80인용 수 12

한 줄 요약

이 논문은 고차원 서브가우시안 분포에서 비차별적이고 강건한 평균 추정을 위한 첫 번째 효율적인 알고리즘인 PRIME를 소개한다. α-비율의 오염 상황에서 near-optimal 오차 $O(\alpha\sqrt{\log(1/\alpha)})$를 달성하며, 비강건한 비차별적 평균 추정과 동일한 표본 복잡도를 갖추어, 비차별성과 강건성의 조합에 추가적인 통계적 비용이 없음을 증명한다.

ABSTRACT

In statistical learning and analysis from shared data, which is increasingly widely adopted in platforms such as federated learning and meta-learning, there are two major concerns: privacy and robustness. Each participating individual should be able to contribute without the fear of leaking one's sensitive information. At the same time, the system should be robust in the presence of malicious participants inserting corrupted data. Recent algorithmic advances in learning from shared data focus on either one of these threats, leaving the system vulnerable to the other. We bridge this gap for the canonical problem of estimating the mean from i.i.d. samples. We introduce PRIME, which is the first efficient algorithm that achieves both privacy and robustness for a wide range of distributions. We further complement this result with a novel exponential time algorithm that improves the sample complexity of PRIME, achieving a near-optimal guarantee and matching a known lower bound for (non-robust) private mean estimation. This proves that there is no extra statistical cost to simultaneously guaranteeing privacy and robustness.

연구 동기 및 목표

• 공유된 데이터로부터의 통계적 추정에서 비차별성과 강건성 간 격차를 해결하기 위해.
• 비차별성과 적대적 데이터 오염에 대한 강건성을 동시에 보장하는 효율적인 알고리즘을 설계하기 위해.
• 비차별성과 강건성을 조합할 경우 표본 복잡도에 추가적인 통계적 비용이 발생하지 않는지를 증명하기 위해.
• 실제 응용을 위해 실용적인 사용을 위한 지수시간 최적 추정기와 다항시간 효율적 변형(PRI ME)을 개발하기 위해.

제안 방법

• 지수시간 추정기를 제안하여 $(\varepsilon,\delta)$-비차별성과 α-비율 오염 하에서 near-optimal 강건성을 달성한다.
• 상위 주성분 분석(PCA) 방향을 사용하여 이상치를 탐지하면서도 비차별성을 유지하는 다항시간 알고리즘인 PRIME를 도입한다.
• 비차별성을 보장하기 위해 공분산 행렬과 평균 추정치에 노이즈를 추가하는 메커니즘을 활용한다.
• 마할라노비스 유사도 점수에 임계값 전략을 적용하여 오염된 샘플을 식별하고 가중치를 낮춘다.
• 유계 공분산 분포에 대한 농도 경계와 α-좋은 집합 기반의 강건한 평균 추정 프레임워크를 적용한다.
• 강건 통계와 비차별성의 이론적 보장을 활용하여 표본 복잡도 경계를 유도한다.

실험 결과

연구 질문

• RQ1 비차별성과 강건성을 동시에 달성하는 효율적인 알고리즘을 설계할 수 있는가?
• RQ2 비차별성과 강건성을 조합할 경우 평균 추정에서 표본 복잡도에 통계적 비용이 발생하는가?
• RQ3 비차별성 하에서 α-비율 오염된 데이터 상황에서도 near-optimal 오차를 달성할 수 있는가?
• RQ4 계산 효율성 요구 조건이 비차별적 강건 설정에서 기본적인 표본 복잡도 비용을 유발하는가?

주요 결과

• 지수시간 추정기는 표본 복잡도 $\widetilde{\Omega}(d/\alpha^2 + (d + d^{1/2}\log(1/\delta))/(α\varepsilon))$로 $O(\alpha\sqrt{\log(1/\alpha)})$ 오차를 달성하며, 비강건한 비차별적 평균 추정에 대한 알려진 하한선과 일치한다.
• PRIME는 표본 복잡도 $\widetilde{\Omega}(d/\alpha^2 + d^{3/2}\log(1/\delta)/(α\varepsilon))$로 동일한 오차 한계를 달성하며, 비용으로 비용 항에 $d^{1/2}$ 요소가 추가된다.
• 기존의 연구와 달리 $\|\mu\|$의 상한을 사전에 알 필요가 없어, 일반적인 서브가우시안 분포에 적용 가능하다.
• 실험 결과, 대규모 표본 영역에서 PRIME는 표준 DP 평균 추정기보다 뚜렷이 뛰어나며, 특히 고오염 및 고비밀성 제약 조건 하에서 성능이 뛰어나다.
• 소규모 표본 영역에서는 노이즈가 지배적이며, PRIME의 오차는 이상치 탐지에 비밀 예산을 할당함으로써 증가하지만, 이는 더 단순한 DP 추정기로 전환함으로써 완화될 수 있다.
• 이론적 분석은 강건성이 비차별성과 결합될 경우 추가적인 통계적 비용이 발생하지 않음을 확인한다. 표본 복잡도는 비강건한 비차별적 평균 추정에 대한 하한선과 일치한다.