[论文解读] Composition Theorems for Interactive Differential Privacy

Xin Lyu|arXiv (Cornell University)|Jul 19, 2022

Privacy-Preserving Technologies in Data被引用 7

一句话总结

本文為多種差分隱私概念——近似DP、Rényi DP、零集中DP及截斷集中DP——建立了最佳併發組 composition 定理，證明將查詢交錯於獨立機制時，攻擊者不會獲得任何優勢。該框架證明，不同差分隱私機制的互動性本身即具備隱私保護特性，廣義化了先前針對純粹DP的結果，並簡化了複雜併發演算法（如私有猜測與檢查機制）的隱私分析。

ABSTRACT

An interactive mechanism is an algorithm that stores a data set and answers adaptively chosen queries to it. The mechanism is called differentially private, if any adversary cannot distinguish whether a specific individual is in the data set by interacting with the mechanism. We study composition properties of differential privacy in concurrent compositions. In this setting, an adversary interacts with k interactive mechanisms in parallel and can interleave its queries to the mechanisms arbitrarily. Previously, Vadhan and Wang [2021] proved an optimal concurrent composition theorem for pure-differential privacy. We significantly generalize and extend their results. Namely, we prove optimal parallel composition properties for several major notions of differential privacy in the literature, including approximate DP, Rényi DP, and zero-concentrated DP. Our results demonstrate that the adversary gains no advantage by interleaving its queries to independently running mechanisms. Hence, interactivity is a feature that differential privacy grants us for free. Concurrently and independently of our work, Vadhan and Zhang [2022] proved an optimal concurrent composition theorem for f-DP [Dong et al., 2022], which implies our result for the approximate DP case.

研究动机与目标

• 彙整差分隱私中互動式、併發機制之組 composition 定理的缺口。
• 將 Vadhan 與 Wang（2021）針對純粹DP的併發組 composition 結果，擴展至更廣泛的差分隱私概念。
• 證明攻擊者無法因跨獨立機制交錯查詢而獲得隱私優勢。
• 提供模組化隱私分析框架，將複雜演算法視為簡單原 primitive 的併發組 composition。
• 解決實務演算法（如私有猜測與檢查）中的隱私疑慮，其中自適應回應依賴先前輸出。

提出的方法

• 提出一個併發組 composition 框架，將 k 個獨立的差分隱私機制建模為單一組合機制，具備交錯查詢存取能力。
• 將該框架應用於證明近似DP、Rényi DP、零集中DP與截斷集中DP的最佳隱私界限。
• 運用黑箱組 composition 定理，將已知的私隱機制（如稀疏向量技術與拉普拉斯機制）在併發存取下組合。
• 採用模擬論證：任何對複雜演算法的自適應查詢序列，皆可透過與獨立私隱的簡化機制併發互動來模擬。
• 利用現有的隱私定理（如 Lyu 等人 2017、拉普拉斯機制）作為建構模塊，證明組合系統繼承隱私保障。
• 證明在併發組 composition 下的隱私損失不會劣於序列組 composition，暗示互動性在隱私上為中性。

实验结果

研究问题

• RQ1 交錯查詢多個差分隱私機制是否會讓攻擊者在區分鄰近資料集時獲得優勢？
• RQ2 在併發存取下，能否為近似DP、Rényi DP與零集中DP建立最佳組 composition 定理？
• RQ3 如稀疏向量技術等現有隱私保護原 primitive，能否在併發環境下安全地與自適應噪音添加機制組合？
• RQ4 針對複雜演算法（如私有猜測與檢查）的隱私分析，在併發組 composition 下是否仍有效，或需重新評估？
• RQ5 該併發組 composition 框架能否用於模組化驗證結合多個私隱元件之系統的隱私？

主要发现

• 本文證明，k 個差分隱私機制的併發組 composition 所導致的隱私損失，等同於序列組 composition，表示攻擊者無法因交錯查詢而獲得優勢。
• 對於近似DP，當結合一個 (3ε, 0)-私隱的SVT變體與一個 (ε, 0)-私隱的拉普拉斯機制時，組合機制滿足 (4ε, 0)-差分隱私。
• 該框架為Rényi DP與零集中DP建立了最佳組 composition 定理，廣義化了先前針對純粹DP的結果。
• 分析顯示，差分隱私系統中的互動性是一項內建隱私保護特性，即使在自適應、併發查詢模式下亦無額外成本。
• 該框架實現模組化隱私驗證：複雜演算法可被分析為簡單、已知的原 primitive 的併發組 composition。
• 研究成果解決了實務演算法（如私有猜測與檢查機制）隱私分析中的關鍵缺口，此類演算法先前因錯誤的組 composition 推理而易受威脅。