[논문 리뷰] Randomized Response Mechanisms for Differential Privacy Data Analysis: Bounds and Applications

Fei Ma, Ping Wang|arXiv (Cornell University)|2021. 12. 14.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

이 논문은 국소적 차별적 프라이버시(LDP) 하에서 세 요소 랜덤라이즈드 리스폰스(RR₃) 기반 프레임워크를 제안하며, 가중치가 부여된 이분 그래프 분석에 초점을 맞춘 비편향 추정을 위한 원칙적인 접근법을 제공한다. 기대값과 분산에 대한 폐쇄형 해를 유도하고, 분산을 최소화하도록 매개변수를 최적화하며, LDP 기반 메커니즘이 의도치 않게 프라이버시 예산을 소비하여 순차적 복합성에 비해 더 강한 프라이버시를 제공할 수 있음을 입증한다.

ABSTRACT

Randomized response, as a basic building-block for differentially private mechanism, has given rise to great interest and found various potential applications in science communities. In this work, we are concerned with three-elements randomized response (RR$_{3}$) along with relevant applications to the analysis of weighted bipartite graph upon differentially private guarantee. We develop a principled framework for estimating statistics produced by RR$_{3}$-based mechanisms, and then prove the corresponding estimations to be unbiased. At the same time, we study in detail several fundamental and significant members in RR$_{3}$ family, and derive the closed-form solutions to unbiased estimations. Next, we show potential applications of several RR$_{3}$-based mechanisms into the estimation of average degree and average weighted value on weighted bipartite graph when requiring local differential privacy guarantee. In the meantime, we determine the lower bounds for choice of relevant parameters by minimizing variance of statistics in order to design optimal RR$_{3}$-based local differential private mechanisms, with which we optimize previous protocols in the literature and put forward a version that achieves the tight bound. Last but most importantly, we observe that in the analysis of relational data such as weighted bipartite graph, a portion of privacy budget in local differential private mechanism is sometimes "consumed" by mechanism itself accidentally, resulting to a more stronger privacy guarantee than we would get by simply sequential compositions.

연구 동기 및 목표

• 국소적 차별적 프라이버시(LDP) 하에서 세 요소 랜덤라이즈드 리스폰스(RR₃) 기반 메커니즘의 통합 프레임워크를 개발하기 위해.
• 가중치가 부여된 이분 그래프에서 평균 차수와 평균 가중치 값과 같은 핵심 통계량의 비편향 추정을 위한 폐쇄형 해를 도출하기 위해.
• 분산을 최소화함으로써 RR₃ 기반 메커니즘을 최적화하여 더 타이트한 프라이버시-유용성 트레이드오프를 달성하기 위해.
• LDP 기반 메커니즘이 의도치 않게 프라이버시 예산을 소비하여 순차적 복합성에 비해 더 강한 프라이버시를 제공하는 데 기여하는, 놀라운 현상(Counterintuitive phenomenon)을 조사하기 위해.
• 기존 프로토콜을 개선하기 위해, 추정 오차의 이론적 하한선을 달성하는 최적의 RR₃ 메커니즘을 제안하기 위해.

제안 방법

• 최대우도추정법(MLE)을 적용하여 RR₃ 기반 추정기의 기대값과 분산에 대한 폐쇄형 표현식을 도출한다.
• EWRR₃, RR₃†, RR₃‡, RR₃♣의 네 가지 기본 RR₃ 메커니즘을 분석하여 통계적 성질을 규명한다.
• 추정기의 분산을 최소화함으로써 RR₃ 메커니즘의 최적 매개변수 설정을 유도하며, 가능한 한 타이트한 프라이버시-유용성 균형을 확보한다.
• 최적화된 RR₃ 메커니즘을 적용하여 국소적 차별적 프라이버시(LDP) 하에서 가중치가 부여된 이분 그래프의 평균 차수와 평균 가중치 값을 추정한다.
• 질의가 프라이버시 예산을 완전히 소비하지 않으며, 메커니즘이 자체적으로 일부 예산을 소비함으로써 순차적 복합성에 비해 더 강한 프라이버시 보장을 제공할 수 있음을 입증한다.
• 특히 가중치가 부여된 이분 그래프와 같은 관계형 데이터 구조에 대해 LDP 제약 조건 하에서 이론적 분석을 통해 결과를 검증한다.

실험 결과

연구 질문

• RQ1 가중치가 부여된 이분 그래프에서 RR₃ 기반 메커니즘을 사용하여 평균 차수와 평균 가중치 값을 비편향으로 추정하기 위한 폐쇄형 해는 무엇인가?
• RQ2 RR₃ 메커니즘의 매개변수는 어떻게 최적화하여 분산을 최소화하고 프라이버시-유용성 트레이드오프를 타이트하게 만들 수 있는가?
• RQ3 LDP 환경에서 메커니즘에 의해 유도된 프라이버시 예산 소비는 전체 프라이버시 보장에 어떤 영향을 미치는가?
• RQ4 RR₃ 기반 메커니즘은 기존 프로토콜과 비교해 추정 정확도와 프라이버시 효율성 측면에서 어떻게 다를까?
• RQ5 LDP 기반 메커니즘에서 '의도치 않은' 프라이버시 예산 소비 현상이 순차적 복합성에 비해 더 강한 프라이버시를 제공할 수 있는가?

주요 결과

• 논문은 네 가지 기본 RR₃ 메커니즘(EWRR₃, RR₃†, RR₃‡, RR₃♣)에 대해 추정기의 기대값과 분산에 대한 정확한 폐쇄형 해를 도출한다.
• EWRR₃의 최적 매개변수 설정은 분산을 최소화함으로써 유도되며, 이는 이론적 하한선에 도달하는 추정 오차를 보장하는 메커니즘을 생성한다.
• 분석 결과, 데이터 수집 과정에서 메커니즘이 자체적으로 일부 프라이버시 예산을 소비함으로써 순차적 복합성에 의해 예측되는 것보다 더 강한 프라이버시 보장을 제공하는 것으로 드러났다.
• 제안된 최적화된 RR₃ 메커니즘은 기존 문헌의 프로토콜보다 우수한 성능을 보이며, 추정 분산의 더 타이트한 경계를 달성한다.
• 이 프레임워크는 국소적 차별적 프라이버시를 유지하면서도 가중치가 부여된 이분 그래프의 평균 차수와 평균 가중치 값을 정확하게 추정할 수 있도록 한다.
• 결과는 LDP 환경에서 메커니즘 설계 시 내부 프라이버시 소모를 고려해야 하며, 이는 표준 복합성 정리 외로 더 강력한 프라이버시 보장을 이끌 수 있음을 시사한다.