[論文レビュー] Optimal Differential Privacy Composition for Exponential Mechanisms and the Cost of Adaptivity

Jinshuo Dong, David Durfee+1 more|arXiv (Cornell University)|Sep 30, 2019

Privacy-Preserving Technologies in Data参考文献 16被引用数 7

ひとこと要約

この論文は、指数的機構における最適な微分プライバシー合成バウンドを確立し、固定プライバシー・パラメータを持つメカニズムに関して、従来未知であった、適応的と非適応的設定の間の根本的なギャップを示している。非適応的同質合成のための効率的な計算可能な定式化と、一般化されたランダム化応答とモーメント生成関数技術を用いた、適応的合成の改善された数値安定性のあるバウンドを提供する。

ABSTRACT

Composition is one of the most important properties of differential privacy (DP), as it allows algorithm designers to build complex private algorithms from DP primitives. We consider precise composition bounds of the overall privacy loss for exponential mechanisms, one of the fundamental classes of mechanisms in DP. We give explicit formulations of the optimal privacy loss for both the adaptive and non-adaptive settings. For the non-adaptive setting in which each mechanism has the same privacy parameter, we give an efficiently computable formulation of the optimal privacy loss. Furthermore, we show that there is a difference in the privacy loss when the exponential mechanism is chosen adaptively versus non-adaptively. To our knowledge, it was previously unknown whether such a gap existed for any DP mechanisms with fixed privacy parameters, and we demonstrate the gap for a widely used class of mechanism in a natural setting. We then improve upon the best previously known upper bounds for adaptive composition of exponential mechanisms with efficiently computable formulations and show the improvement.

研究の動機と目的

• 指数的機構、すなわちDPアルゴリズムの根本的なクラスにおける最適な微分プライバシー合成バウンドを特定すること。
• プライバシー・パラメータが固定されている場合に、指数的機構の選択における適応性が、全体のプライバシー損失に影響を与えるかどうかを調査すること。
• 非適応的かつ同質的ケースにおける最適合成のための効率的な計算可能な定式化を開発すること。
• 指数的機構の構造に合わせて濃度不等式を調整することにより、既存の適応的合成バウンドを改善すること。
• 指数的機構の数が増加する際の、適応的と非適応的設定間のプライバシー・ギャップの漸近的挙動を調査すること。

提案手法

• 等価マッピングを介して、指数的機構のプライバシー解析を一般化されたランダム化応答（GRR）に還元する。
• モーメント生成関数（MGF）技術を用いてきついプライバシー損失バウンドを導出し、関数 $ h_{ ho}( heta) $ の数値的に安定した定式化を実現する。
• 一般化されたモーメント会計フレームワークを適用し、効率的な計算が可能な改善された適応的合成バウンドを導出する。
• U-関数を用いた統一的な合成定理の視点を採用し、提案されたバウンドが先行研究を上回ることを示す。
• 高プライバシー領域における浮動小数点オーバーフローを回避するため、MGFの数値的に強固な再定式化を導入する。
• 指数的機構の有界範囲（BR）性質を活用し、DurfeeとRogersらの先行研究に基づいて、改善された合成バウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 すべてのプライバシー・パラメータが固定されている場合、指数的機構の適応的選択と非適応的選択の間で、プライバシー損失のギャップが存在するか？
• RQ2 非適応的かつ同質的ケースにおいて、指数的機構の最適合成バウンドを効率的に計算できるか？
• RQ3 一般DP合成定理と比較して、指数的機構のプライバシー・バウンドは、きつさの点でどのように異なるか？
• RQ4 指数的機構の数 $ k \to \infty $ が増加する際の、適応的と非適応的プライバシー・ギャップの漸近的挙動は何か？
• RQ5 一般DPメカニズムと比較して、指数的機構の特定の構造を考慮することで、合成バウンドをさらに改善できるか？

主な発見

• 固定プライバシー・パラメータを持つ指数的機構の適応的と非適応的合成の間には、明確なプライバシー損失ギャップが存在し、これは、これまでのDPメカニズムクラスにおいては未知の現象であった。
• 非適応的かつ同質的ケースでは、簡略化されたMGF表現を用いた、最適合成バウンドの効率的な計算可能な定式化が提供されている。
• 提案された適応的合成バウンドは、先行研究を上回るきつさであり、効率的な計算が可能で、高プライバシー領域におけるオーバーフローを回避する数値的に安定した定式化を備えている。
• 指数的機構の最適合成バウンドが、一般化されたランダム化応答メカニズムと等価であることが示され、よりきつい解析が可能になった。
• 適応的と非適応的最適合成のギャップは、$ k \to \infty $ において漸近的に消えると予想されるが、非漸近的ギャップは依然として小さいままである。
• 指数的機構の特定の構造を活用することで、既存の上界を改善し、一般合成定理よりもきついプライバシー損失推定を達成した。