[논문 리뷰] Estimating Numerical Distributions under Local Differential Privacy

Zitao Li, Tianhao Wang외 3명|arXiv (Cornell University)|2019. 12. 02.

Privacy-Preserving Technologies in Data참고 문헌 22인용 수 6

한 줄 요약

이 논문은 국소적 차별적 프라이버시(LDP) 하에서 수치 분포 추정의 정확도를 향상시키기 위해 새로운 사각파(SW) 보고 메커니즘과 스무딩을 적용한 기대값 최대화(EMS) 알고리즘을 제안한다. 데이터의 수치적 순서를 활용하고, 근접한 값에 더 높은 확률 밀도를 부여하도록 보고 분포를 최적화함으로써, SW와 EMS는 다양한 프라이버시 및 데이터 분포 설정에서 기존 방법들보다 유용성 측면에서 뚜렷이 뛰어나다.

ABSTRACT

When collecting information, local differential privacy (LDP) relieves the concern of privacy leakage from users' perspective, as user's private information is randomized before sent to the aggregator. We study the problem of recovering the distribution over a numerical domain while satisfying LDP. While one can discretize a numerical domain and then apply the protocols developed for categorical domains, we show that taking advantage of the numerical nature of the domain results in better trade-off of privacy and utility. We introduce a new reporting mechanism, called the square wave SW mechanism, which exploits the numerical nature in reporting. We also develop an Expectation Maximization with Smoothing (EMS) algorithm, which is applied to aggregated histograms from the SW mechanism to estimate the original distributions. Extensive experiments demonstrate that our proposed approach, SW with EMS, consistently outperforms other methods in a variety of utility metrics.

연구 동기 및 목표

• 분류 빈도 오라클(CFO)을 수치 데이터에 적용하기 위해 밴딩을 사용하는 데서 비롯되는 문제점인 최적의 밴드 선택이 어려운 점과 수치적 구조를 忽시하는 점을 해결하기 위해.
• 수치 영역의 순서적 성격을 활용하는 보고 메커니즘을 설계하여 LDP 기반 수치 분포 추정의 유용성을 향상시키기 위해.
• 비음수성과 합이 1이 되는 등의 구조적 제약 조건을 통합함으로써 추정 정확도를 향상시키는 동시에 노이즈에 강인한 후처리 기법을 개발하기 위해.
• 입력과 출력 간 상호정보량을 최대화하여 최적의 프라이버시-유용성 트레이드오프를 확보하기 위해, 사각파 메커니즘의 대역폭 파라미터 $ b $ 를 조사하고 최적화하기 위해.

제안 방법

• 사각파(SW) 메커니즘 도입: 값 $ v \in [0,1] $ 를 가진 사용자가 $ [-b, 1+b] $ 범위에서 보고하며, $ [v-b, v+b] $ 에서는 높은 확률 밀도 $ p $ 를, 나머지 영역에서는 낮은 밀도 $ q $ 를 가지며, $ \frac{p}{q} = e^{\epsilon} $ 를 만족하여 $ \epsilon $-LDP를 확보한다.
• 일반파(GW) 메커니즘 가족을 정의하고, 상호정보량의 상한을 최대화함으로써 파형 형태 중에서 사각파가 최고의 유용성을 가짐을 증명한다.
• 입력과 출력 간 상호정보량의 상한을 최대화함으로써, 주어진 $ \epsilon $ 에 대해 최적의 대역폭 $ b $ 를 계산하는 방법을 제안한다.
• SW 메커니즘에서 수집된 집계 보고 자료에 기대값 최대화와 스무딩(EMS) 알고리즘을 적용하여 원래의 분포를 추정하며, 비음수성과 정규화 조건을 통합한다.
• ADMM 최적화를 사용하여 계층 히스토GRAM 추정(HH-ADMM)을 개선하여, 음수 빈도와 노이즈로 인한 오차를 줄이고, 원래의 계층 히스토GRAM 방법보다 성능을 향상시킨다.
• SW 보고 방식과 EMS, HH-ADMM를 통합하여 LDP 하에서 정확한 수치 분포 추정을 위한 완전한 파ip라인을 구성한다.

실험 결과

연구 질문

• RQ1 수치적 순서를 고려한 보고 메커니즘이 LDP 환경에서 표준 분류 빈도 오라클보다 성능이 뛰어나게 될 수 있는가?
• RQ2 LDP 하에서 추정 오차를 최소화하기 위해 최적의 보고 분포 형태(예: 사각형, 삼각형, 사다리형)는 무엇인가?
• RQ3 사각파 메커니즘의 대역폭 파라미터 $ b $ 는 어떻게 선택해야 프라이버시-유용성 트레이드오프를 최적화할 수 있는가?
• RQ4 수치적 인식이 가능한 보고 방식과 결합된 EM과 스무딩을 통한 후처리가 추정 정확도를 뚜렷이 향상시킬 수 있는가?
• RQ5 제안된 SW와 EMS 방법은 다양한 데이터 분포와 프라이버시 예산에서 기존 방법들(예: 밴딩 + CFO, HH-ADMM)과 비교해 어떻게 성능을 냈는가?

주요 결과

• 모든 평가된 데이터 분포와 프라이버시 파rameter에서 사각파 메커니즘이 삼각형, 사다리형 등 다른 파형들보다 추정 정확도 측면에서 뚜렷이 뛰어나다.
• 상호정보량의 상한을 최대화함으로써 계산된 최적의 대역폭 $ b $ 는 히وري스틱 또는 고정된 $ b $ 선택보다 유의미하게 뛰어난 성능을 보인다.
• SW와 EMS는 모든 테스트 데이터셋(Beta(5,2), 택시 픽업 시간, 소득, 은퇴)에서 진짜 분포와의 워샤프스타인 거리가 가장 낮게 나타나며, 기준 방법 대비 최대 30% 향상된 성능을 기록한다.
• ADMM를 적용한 개선된 계층 히스토GRAM(HH-ADMM)은 음수 빈도와 노이즈로 인한 오차를 줄여 원래의 계층 히스토GRAM 방법보다 뛰어난 성능을 보인다.
• EMS 알고리즘은 종료 조건에 매우 민감하지만, 적절한 스무딩과 파라미터 튜닝을 통해 진짜 분포를 강인하고 정확하게 복원할 수 있다.
• 광범위한 실험 결과, SW와 EMS는 워샤프스타인 거리와 평균 제곱오차 등 여러 유용성 지표에서 기존 방법들(예: 밴딩 + CFO, SR, PM, OLH)을 균일하게 능가한다.