[논문 리뷰] Instance-optimal Mean Estimation Under Differential Privacy

Ziyue Huang, Yuting Liang외 1명|arXiv (Cornell University)|2021. 06. 01.

Privacy-Preserving Technologies in Data참고 문헌 34인용 수 10

한 줄 요약

이 논문은 파라미터 조정 없이 데이터 특성에 적응하는 인스턴스 최적의 비차별적 평균 추정 기법을 제안한다. 이 기법은 기존 데이터셋에 이미 포함된 벡터들만으로 다를 수 있는 인-이웃(내부 이웃)에 대해 최적의 오차 한계를 달성한다. 방법은 노름 분위수에 기반한 데이터 기반 클리핑 임계값과 가우시안 노이즈를 사용하며, 실세계 데이터(예: MNIST 및 고차원 가우시안 분포)에서 이전 히우리스틱 기법과 최악의 경우 최적 기법보다 뛰어난 성능을 보인다.

ABSTRACT

Mean estimation under differential privacy is a fundamental problem, but worst-case optimal mechanisms do not offer meaningful utility guarantees in practice when the global sensitivity is very large. Instead, various heuristics have been proposed to reduce the error on real-world data that do not resemble the worst-case instance. This paper takes a principled approach, yielding a mechanism that is instance-optimal in a strong sense. In addition to its theoretical optimality, the mechanism is also simple and practical, and adapts to a variety of data characteristics without the need of parameter tuning. It easily extends to the local and shuffle model as well.

연구 동기 및 목표

• 전역 감도가 클 경우 좌표 값에 대한 보수적인 경계로 인해 높은 오차를 유발하는 최악의 경우 최적의 비차별적 평균 추정기의 실용적 한계를 해결한다.
• 고정된 분위수 클리핑 등의 히우리스틱 클리핑 방법의 단점을 극복하기 위해, 클리핑 임계값을 선택하는 원칙적이고 이론적으로 탄탄한 방법을 제공한다.
• 기존의 벡터들만 교체되는 데이터셋(즉, 인-이웃)에 초점을 맞춘 새로운 인스턴스 최적성의 개념을 도입함으로써, 더 강력하고 실용적인 유틸리티 보장을 가능하게 한다.
• 이 새로운 기준 하에서 이론적으로 최적이면서도 비가우시안 및 고차원 데이터를 포함한 다양한 데이터 분포에서 실용적으로 효과적인 기법을 설계한다.
• 지역 모델 및 셔플 모델으로의 기법 확장을 통해, 분산 및 통신 제약 조건이 있는 환경에서도 강건성과 확장성을 입증한다.

제안 방법

• 기존의 벡터들만 교체되는 데이터셋(즉, 인-이웃)에 기반한 새로운 인스턴스 최적성의 개념을 제안한다.
• 목표 오차를 정의한다: 모든 DP 기법에 대해, 임의의 인-이웃 데이터셋에서 일정 확률(2/3)로 달성 가능한 최소 오차의 하한값으로 정의한다.
• 이 목표 오차의 상수 배 이내의 오차를 달성하는 기법을 설계함으로써, 인-이웃 정의 하에서 인스턴스 최적성을 확보한다.
• 데이터 적응형 클리핑 임계값을 사용한다: 벡터 노름의 $(n - \sqrt{2d/\rho})$-번째 분위수로, 이는 차원 $d$와 비밀유지 파rameter $\rho$에 따라 달라진다. 이는 노이즈를 최소화하면서도 비밀유지를 유지한다.
• 클리핑된 데이터의 국소 감도에 따라 스케일링된 가우시안 노이즈를 사용하는 제로 집중적 비차별적 개인정보 보호(zCDP)를 적용함으로써, 비밀유지와 유틸리티의 상호 보완적 조건을 확보한다.
• 지역 모델로의 기법 확장을 위해, 좌표별로 기법을 적용하고 고급 복합성을 통해 비밀유지 보장을 조합하며, 데이터 중심화를 통해 번역 불변성을 유지한다.

실험 결과

연구 질문

• RQ1 전역 감도가 크지만 실제 데이터 변동성이 작은 실세계 데이터셋에서, 최악의 경우 최적의 비차별적 평균 추정기보다 더 뛰어난 유틸리티를 달성할 수 있는 기법을 설계할 수 있는가?
• RQ2 데이터의 구조에 적응하면서 수동 조정 없이 클리핑 임계값을 선택하는 원칙적인 방법은 무엇인가?
• RQ3 최악의 경우 최적성보다 더 강력하지만 실용적으로 달성 가능한 인스턴스 최적성의 개념이 존재하는가? 특히 평균 추정에 대해.
• RQ4 이러한 인스턴스 최적 기법을 지역 모델 및 셔플 모델으로 확장할 수 있는가? 이로 인해 유틸리티가 손상되지 않는가?
• RQ5 제안된 방법은 실세계 및 시뮬레이션 데이터에서 기존의 히우리스틱 기법과 COINPRESS와 같은 최첨단 기법과 비교해 실제로 어떻게 성능을 냈는가?

주요 결과

• 제안된 기법은 인-이웃 정의 하에서 인스턴스 최적성을 달성하며, 임의의 인-이웃 데이터셋에 대해 최상의 오차의 상수 배 이내의 오차를 보장한다.
• MNIST 데이터셋에서, $\rho = 0.1, 0.5, 1$의 모든 비밀유지 수준에서 COINPRESS를 초월하는 성능을 보이며, 비가우시안 분포에 대한 강건성을 입증한다.
• 최적의 클리핑 임계값은 $d$와 $\rho$에 따라 달라지며, 제안된 분위수 기반 선택 방식($n - \sqrt{2d/\rho}$-번째 분위수)이 고정된 분위수 히우리스틱보다 오차를 크게 감소시킨다.
• 지역 모델에서는 COINPRESS의 KnownVar 버전(모르는 분산을 가정)조차도 초월하여, 분산된 환경에서 강력한 유틸리티를 보여준다.
• 기법은 번역 불변성을 갖는다: 데이터 중심을 이동시켜도 성능에 영향을 주지 않으며, 중심이 아닌 대안들에 비해 강건함을 확인한다.
• 고차원($d=128$)에서, 차원 증가로 인한 오차 증가는 이전 방법보다 감소하였고, 공분산 추정에 실패하더라도 여전히 뛰어난 성능을 유지한다.