[논문 리뷰] Bias and Variance of Post-processing in Differential Privacy

Kèyù Zhü, Pascal Van Hentenryck외 1명|arXiv (Cornell University)|2020. 10. 09.

Privacy-Preserving Technologies in Data참고 문헌 11인용 수 6

한 줄 요약

이 논문은 인구 조사 데이터에서 도메인 제약 조건을 강제하기 위해 사용되는 투영을 통해 미분적 비밀보장성에서 후처리의 통계적 영향을 조사한다. 이론적이고 실증적으로 후처리된 미분적 비밀보장성 출력에서의 편향과 분산을 분석하며, 비음성 제약 조건이 유도된 공식으로 유계인 편향을 유도하는 것으로 나타났고, 차원이 증가함에 따라 잔차 오차가 라플라스 분포로 수렴하여 공공 정보의 활용을 통해 분산이 감소함을 보여준다.

ABSTRACT

Post-processing immunity is a fundamental property of differential privacy: it enables the application of arbitrary data-independent transformations to the results of differentially private outputs without affecting their privacy guarantees. When query outputs must satisfy domain constraints, post-processing can be used to project the privacy-preserving outputs onto the feasible region. Moreover, when the feasible region is convex, a widely adopted class of post-processing steps is also guaranteed to improve accuracy. Post-processing has been applied successfully in many applications including census data-release, energy systems, and mobility. However, its effects on the noise distribution is poorly understood: It is often argued that post-processing may introduce bias and increase variance. This paper takes a first step towards understanding the properties of post-processing. It considers the release of census data and examines, both theoretically and empirically, the behavior of a widely adopted class of post-processing functions.

연구 동기 및 목표

• 후처리가 미분적 비밀보장성 데이터 공개에서 노이즈 분포에 미치는 통계적 영향을 이해하는 것.
• 일반적으로 도메인 제약 조건을 강제하기 위해 사용되는 투영이 개인정보 보호 출력에서의 편향과 분산에 어떤 영향을 미치는지 분석하는 것.
• 특히 인구 조사 응용 분야에서 계층적 데이터 공개 과제에 있어 후처리의 거동에 대한 이론적 및 실증적 통찰을 제공하는 것.
• 후처리 이후 잔차 분포를 특성화하고 정확성과 공정성에 대한 영향을 평가하는 것.

제안 방법

• 논문은 선형 타당성 제약 조건 하에서 비음성 제약 조건이 없는 투영과 있는 투영의 두 유형을 연구한다.
• 비음성 제약 조건이 존재할 경우 투영에 의해 유도되는 편향의 상한을 도출하며, 순서 통계 및 라플라스 노이즈의 성질을 활용한다.
• 잔차 오차를 동일하게 분포된 람다 변수의 선형 조합으로 모델링하고, 그의 점근적 분포를 분석한다.
• 슬러츠테오리움과 약한 대수법칙을 적용하여 차원 n → ∞ 일 때 잔차 분포가 라플라스 분포로 수렴함을 증명한다.
• 실제 인구 조사 데이터(애리조나 주 및 텍사스 주)를 대상으로 다양한 카운티 수를 가진 실험을 수행하여 분산과 편향을 평가한다.
• 계층적 데이터 제약 조건에서 후처리된 노이즈 분포를 완전히 특성화하기 위해 단일 선형 방정식을 활용한 하위 문제를 사용한다.

실험 결과

연구 질문

• RQ1 후처리 투영이 미분적 비밀보장성 출력에 편향을 유도하는가? 만약 그렇다면 어떤 조건에서인가?
• RQ2 비음성 제약 조건의 존재가 후처리에 의해 유도되는 편향에 어떤 영향을 미치는가?
• RQ3 후처리 이후 잔차 오차의 점근적 분포는 무엇이며, 원래 노이즈 분포와 어떤 관계가 있는가?
• RQ4 후처리가 고차원 설정에서 출력의 분산에 어떤 영향을 미치는가?
• RQ5 후처리는 계층적 데이터 공개 과제에서 정확성을 얼마나 향상시키는가?

주요 결과

• 비음성 제약 조건이 없는 경우, 투영을 통한 후처리는 편향을 유도하지 않는다.
• 비음성 제약 조건이 존재할 경우, 논문은 편향의 상한을 도출하였으며, 이는 편향이 크게 영향을 미치는 문제 유형을 식별하는 데 도움이 된다.
• 후처리된 출력의 잔차 오차는 차원 n 이 증가함에 따라 원래의 라플라스 노이즈 분포로 수렴한다.
• 후처리된 데이터의 분산은 차원이 증가함에 따라 감소하며, 이는 공공 정보의 활용을 통한 정확성 향상을 시사한다.
• 애리조나 주 및 텍사스 주 인구 조사 데이터에 대한 실증 결과는 이론적 분산과 실측 분산이 매우 유사함을 보여준다(예: 애리조나 주의 경우 186.67 대비 186.88).
• 잔차 분포가 라플라스 분포로 수렴한다는 것은 후처리가 분산을 감소시키면서도 개인정보 보호를 유지할 수 있음을 의미하며, 그로 인해 그룹 공정성에 대한 영향을 미친다.