[论文解读] Optimal Differential Privacy Composition for Exponential Mechanisms and the Cost of Adaptivity

Jinshuo Dong, David Durfee+1 more|arXiv (Cornell University)|Sep 30, 2019

Privacy-Preserving Technologies in Data参考文献 16被引用 7

一句话总结

本文為指數機制確立了最佳差分隱私組合邊界，揭示了自適應與非自適應設定之間的根本性差距——此前對於具有固定隱私參數的機制而言，此現象尚不為人所知。本文提供了非自適應同質組合的高效可計算公式，並利用廣義隨機回應與矩 Generating 函數技術，提出改進且數值穩定的自適應組合邊界。

ABSTRACT

Composition is one of the most important properties of differential privacy (DP), as it allows algorithm designers to build complex private algorithms from DP primitives. We consider precise composition bounds of the overall privacy loss for exponential mechanisms, one of the fundamental classes of mechanisms in DP. We give explicit formulations of the optimal privacy loss for both the adaptive and non-adaptive settings. For the non-adaptive setting in which each mechanism has the same privacy parameter, we give an efficiently computable formulation of the optimal privacy loss. Furthermore, we show that there is a difference in the privacy loss when the exponential mechanism is chosen adaptively versus non-adaptively. To our knowledge, it was previously unknown whether such a gap existed for any DP mechanisms with fixed privacy parameters, and we demonstrate the gap for a widely used class of mechanism in a natural setting. We then improve upon the best previously known upper bounds for adaptive composition of exponential mechanisms with efficiently computable formulations and show the improvement.

研究动机与目标

• 確定指數機制——一類基本的 DP 算法——的最佳差分隱私組合邊界。
• 研究在隱私參數固定的情況下，選擇指數機制時的自適應性是否會影響整體隱私損失。
• 為非自適應、同質組合情境下的最佳組合開發高效可計算的公式。
• 透過針對指數機制結構量身定制的集中不等式，改進現有的自適應組合邊界。
• 探討當機制數量增加時，自適應與非自適應設定之間隱私差距的漸近行為。

提出的方法

• 透過等價映射將指數機制的隱私分析簡化為廣義隨機回應（GRR）。
• 使用矩生成函數（MGF）技術推導緊緻的隱私損失邊界，並提出 MGF 函數 $ h_{ ho}( heta) $ 的數值穩定公式。
• 應用廣義moment帳戶框架，推導出計算高效的改進自適應組合邊界。
• 使用 $ U $-函數統一視角呈現組合定理，表明所提出的邊界優於先前工作。
• 提出 MGF 的數值穩健重構，以避免在高隱私情境下的浮點溢出。
• 利用指數機制的有界範圍（BR）性質，推導改進的組合邊界，並建立在 Durfee 與 Rogers 的先前工作基礎上。

实验结果

研究问题

• RQ1 當所有隱私參數固定時，指數機制的自適應與非自適應選擇之間是否存在隱私損失差距？
• RQ2 在非自適應、同質情境下，能否高效計算指數機制的最佳組合邊界？
• RQ3 與一般 DP 組合定理相比，指數機制的隱私邊界在緊緻性方面表現如何？
• RQ4 當機制數量 $ k \to \infty $ 時，自適應與非自適應隱私差距的漸近行為為何？
• RQ5 透過考慮指數機制的特定結構而非一般 DP 機制，能否進一步改進組合邊界？

主要发现

• 對於具有固定隱私參數的指數機制，自適應與非自適應組合之間存在明確的隱私損失差距，此現象此前未被發現於任何 DP 機制類別中。
• 在非自適應、同質情境下，本文提出使用簡化 MGF 表達式的高效可計算最佳組合邊界公式。
• 所提出的自適應組合邊界優於先前結果，且計算高效，其數值穩定公式可避免在高隱私情境下的溢出。
• 證明指數機制的最佳組合邊界等價於廣義隨機回應機制，從而實現更緊緻的分析。
• 雖然非漸近差距仍較小，但推測當 $ k \to \infty $ 時，自適應與非自適應最佳組合之間的差距將漸近消失。
• 本文透過利用指數機制的特定結構，改進了現有自適應組合邊界的上界，實現了比一般組合定理更緊緻的隱私損失估計。