[논문 리뷰] Bounding, Concentrating, and Truncating: Unifying Privacy Loss Composition for Data Analytics

Mark Cesar, Ryan Rogers|arXiv (Cornell University)|2020. 04. 15.

Privacy-Preserving Technologies in Data참고 문헌 15인용 수 4

한 줄 요약

이 논문은 순수 DP, 범위가 제한된(BR), 농축된 DP(CDP) 메커니즘을 적응형 및 비적응형 선택 하에서 통합하여 차별적 투명성 손실의 구성 한계를 통합한다. 메커니즘 순서에 따라 달라지는 최적의 구성 한계를 제공하며, 비밀성 보장이 엄격한 혼합 워크로드에서 유용성을 크게 향상시키는 동시에 유지하는 비밀성 보장이 강화된 절단된 가우시안 노이즈를 사용한 비밀스러운 상위-$k$ 쿼리에 적용한다.

ABSTRACT

Differential privacy (DP) provides rigorous privacy guarantees on individual's data while also allowing for accurate statistics to be conducted on the overall, sensitive dataset. To design a private system, first private algorithms must be designed that can quantify the privacy loss of each outcome that is released. However, private algorithms that inject noise into the computation are not sufficient to ensure individuals' data is protected due to many noisy results ultimately concentrating to the true, non-privatized result. Hence there have been several works providing precise formulas for how the privacy loss accumulates over multiple interactions with private algorithms. However, these formulas either provide very general bounds on the privacy loss, at the cost of being overly pessimistic for certain types of private algorithms, or they can be too narrow in scope to apply to general privacy systems. In this work, we unify existing privacy loss composition bounds for special classes of differentially private (DP) algorithms along with general DP composition bounds. In particular, we provide strong privacy loss bounds when an analyst may select pure DP, bounded range (e.g. exponential mechanisms), or concentrated DP mechanisms in any order. We also provide optimal privacy loss bounds that apply when an analyst can select pure DP and bounded range mechanisms in a batch, i.e. non-adaptively. Further, when an analyst selects mechanisms within each class adaptively, we show a difference in privacy loss between different, predetermined orderings of pure DP and bounded range mechanisms. Lastly, we compare the composition bounds of Laplace and Gaussian mechanisms based on histogram datasets.

연구 동기 및 목표

• 순수 DP, 범위가 제한된(BR), 농축된 DP(CDP) 메커니즘 간 기존의 비밀성 손실 구성 한계를 적응형 및 비적응형 설정 모두에서 통합한다.
• 비적응형, 동질적인 설정에서 순수 DP와 BR 메커니즘을 조합할 때 최적의 구성 한계를 제공하며, 이는 이전 연구에서 알려진 한계 사이를 보간하는 데 기여한다.
• 순수 DP와 BR 메커니즘의 순서가 적응형 구성에서 비밀성 손실에 어떻게 영향을 미치는지 분석하여 비트리비얼한 종속성을 드러낸다.
• 비밀스러운 히스토그램에 대해 라플라스 메커니즘과 가우시안 메커니즘을 비교하여, 절단된 가우시안 노이즈가 동일한 비밀성 조건에서 더 높은 유용성을 제공할 수 있음을 보여준다.
• LinkedIn의 시스템과 비교해 개선된 새로운 비밀스러운 상위-$k$ 알고리즘을 개발한다.

제안 방법

• 사전에 비밀성 파rameter를 등록하고 교체 없이 선택하는 적응형 구성의 일반적 프레임워크를 도입하여 다양한 메커니즘 순서의 유연한 적용을 가능하게 한다.
• 동일한 비밀성 파rameter를 가진 순수 DP와 BR 메커니즘의 혼합에 대해 최적의 비적응형 구성 한계를 유도하며, 이는 고전적 DP와 BR 한계 사이를 부드럽게 보간할 수 있도록 한다.
• 레니 비산란과 zCDP(제로 농축된 DP) 구성 기법을 사용하여 가우시안 메커니즘의 비밀성 손실을 분석하며, 특히 절단된 경우에 초점을 맞춘다.
• 히스토그램 카운트에 절단된 가우시안 노이즈를 적용하는 새로운 메커니즘인 TruncGauss를 제안하여 尾부 위험을 줄이고 비밀성-유용성 트레이드오프를 개선한다.
• 노이즈 추가 후 임계값 결과에 대해 후처리 불변성을 적용하여 비밀성 손실 증가를 방지한다.
• 이웃한 히스토그램에서의 다중 카운트 업데이트에 대해 이벤트 $E$와 $E'$에 대한 유니온 바운드를 사용하여 전체 zCDP 보장을 유도한다.

실험 결과

연구 질문

• RQ1 순수 DP와 범위가 제한된(BR) 메커니즘의 순서가 적응형 구성에서 전체 비밀성 손실에 어떻게 영향을 미치는가?
• RQ2 동일한 비밀성 파rameter를 가진 비적응형 순수 DP와 BR 메커니즘 혼합에 대해 최적의 구성 한계를 도출할 수 있는가?
• RQ3 비밀스러운 히스토그램 쿼리에 대해 라플라스 노이즈 대비 절단된 가우시안 노이즈를 사용할 경우 비밀성-유용성 트레이드오프는 어떻게 되는가?
• RQ4 비밀스러운 상위-$k$ 쿼리에 대해 동일한 $ε$-$\delta$ 비밀성 보장 조건 하에서 라플라스 메커니즘과 가우시안 메커니즘의 구성 한계는 어떻게 비교되는가?
• RQ5 이질적인 메커니즘에 대해 최적의 구성 한계를 효율적으로 계산할 수 있는가? 특히 메커니즘이 적응적으로 선택될 경우에 대해.

주요 결과

• 적응형 구성에서 비밀성 손실은 순수 DP와 BR 메커니즘의 순서에 따라 달라지며, 두 개의 BR 메커니즘이 위치에 따라 유의미한 차이를 보인다.
• 비적응형 설정에서 $m$개의 순수 DP와 $k-m$개의 BR 메커니즘이 존재할 경우, 최적의 구성 한계는 $m=k$ (순수 DP)와 $m=0$ (BR 전용) 한계 사이를 매끄럽게 보간한다.
• 절단된 가우시안 노이즈는 이동된 가우시안 간의 레니 비산란을 감소시켜, 무한대 노이즈보다 더 날카운 비밀성 한계를 제공한다.
• 제안된 TruncGauss 메커니즘은 이웃한 히스토그램에서 $\Delta$의 카운트 변화에 대해 $\delta$-근사 $\tfrac{\Delta}{2\sigma^2}$-zCDP를 달성하며, 더 높은 유용성을 제공한다.
• 비밀스러운 상위-$k$ 쿼리에 대해, 새로운 가우시안 기반 알고리즘은 동일한 $(\varepsilon,\delta)$-DP 제약 조건 하에서 라플라스 기반 방법보다 노이즈 크기와 비밀성 효율성 측면에서 뛰어나다.
• TruncGauss의 절단 수준은 동등한 라플라스 기반 메커니즘보다 고정되어 있으며 낮게 설정되어 있어 꼬리 위험을 줄이고 정확도를 향상시킨다.