[論文レビュー] Randomized Response Mechanisms for Differential Privacy Data Analysis: Bounds and Applications

Fei Ma, Ping Wang|arXiv (Cornell University)|Dec 14, 2021

Privacy-Preserving Technologies in Data被引用数 4

ひとこと要約

本稿は、局所的微分プライバシー（LDP）下で三要素ランダム化応答（RR₃）メカニズムを用いた偏りのない推定のための原理的フレームワークを提案する。重み付き二部グラフ解析に焦点を当て、期待値と分散の閉形式解を導出し、分散を最小化するようにパラメータを最適化する。また、LDPメカニズムが意図せずプライバシー予算を消費する可能性があり、その結果、逐次合成が示唆するよりも強いプライバシーが得られるという逆説的な現象を示す。

ABSTRACT

Randomized response, as a basic building-block for differentially private mechanism, has given rise to great interest and found various potential applications in science communities. In this work, we are concerned with three-elements randomized response (RR$_{3}$) along with relevant applications to the analysis of weighted bipartite graph upon differentially private guarantee. We develop a principled framework for estimating statistics produced by RR$_{3}$-based mechanisms, and then prove the corresponding estimations to be unbiased. At the same time, we study in detail several fundamental and significant members in RR$_{3}$ family, and derive the closed-form solutions to unbiased estimations. Next, we show potential applications of several RR$_{3}$-based mechanisms into the estimation of average degree and average weighted value on weighted bipartite graph when requiring local differential privacy guarantee. In the meantime, we determine the lower bounds for choice of relevant parameters by minimizing variance of statistics in order to design optimal RR$_{3}$-based local differential private mechanisms, with which we optimize previous protocols in the literature and put forward a version that achieves the tight bound. Last but most importantly, we observe that in the analysis of relational data such as weighted bipartite graph, a portion of privacy budget in local differential private mechanism is sometimes "consumed" by mechanism itself accidentally, resulting to a more stronger privacy guarantee than we would get by simply sequential compositions.

研究の動機と目的

• 三要素ランダム化応答（RR₃）メカニズムを用いた局所的微分プライバシー（LDP）下での統計推定のための統一的フレームワークの構築。
• 重み付き二部グラフにおける平均次数や平均重み付き値といった主要統計量の偏りのない推定のための閉形式解の導出。
• RR₃ベースのメカニズムを分散の最小化によって最適化し、よりきついプライバシー・ユーティリティのトレードオフを達成すること。
• LDPメカニズムが意図せずプライバシー予算を消費するという逆説的な現象を調査し、逐次合成が示唆するよりも強いプライバシーが得られる理由を解明すること。
• 既存プロトコルを上回る、理論的分散下限に達する最適なRR₃メカニズムの提案。

提案手法

• 最大尤度推定（MLE）を適用し、RR₃ベースの推定器の期待値と分散の閉形式表現を導出する。
• EWRR₃、RR₃†、RR₃‡、RR₃♣の4つの基本的RR₃メカニズムを分析し、その統計的性質を特定する。
• 推定器の分散を最小化することで、RR₃メカニズムの最適パラメータ設定を導出し、可能な限りきついプライバシー・ユーティリティのバランスを実現する。
• 最適化されたRR₃メカニズムを用いて、LDP下での重み付き二部グラフにおける平均次数と平均重み付き値を推定する。
• クエリ自体がプライバシー予算を完全に消費するのではなく、メカニズム自体が一部の予算を消費していることが判明し、その結果、逐次合成が示唆するよりも強いプライバシー保証が得られる。
• リレーショナルデータ構造、特にLDP制約下での重み付き二部グラフを対象に理論的考察を検証する。

実験結果

リサーチクエスチョン

• RQ1 重み付き二部グラフにおける平均次数および平均重み付き値の推定に関して、RR₃メカニズムを用いた偏りのない推定の閉形式解は何か？
• RQ2 RR₃メカニズムのパラメータをどのように最適化すれば分散を最小化し、最もきついプライバシー・ユーティリティのトレードオフを達成できるか？
• RQ3 LDP環境下で、メカニズムが引き起こすプライバシー予算の消費が、全体のプライバシー保証に与える影響は何か？
• RQ4 RR₃ベースのメカニズムは、既存プロトコルと比較して推定精度およびプライバシー効率の面でどのように異なるか？
• RQ5 LDPメカニズムにおける「偶然的」なプライバシー予算消費現象は、逐次合成が示唆するよりも強いプライバシーをもたらす可能性があるか？

主な発見

• 本稿では、EWRR₃、RR₃†、RR₃‡、RR₃♣の4つの基本的RR₃メカニズムにおける推定器の期待値と分散の正確な閉形式解を導出する。
• EWRR₃の最適パラメータ設定は分散の最小化により導出され、その結果、推定誤差の理論的下限に達するメカニズムが得られる。
• 分析により、データ収集過程でメカニズム自体が一部のプライバシー予算を消費していることが判明し、その結果、逐次合成が予測するよりも強いプライバシー保証が得られる。
• 提案された最適化されたRR₃メカニズムは、既存の文献におけるプロトコルを上回り、推定分散の境界をよりきつくする。
• このフレームワークにより、重み付き二部グラフにおける平均次数および平均重み付き値の正確な推定が、局所的微分プライバシーを保持したまま可能になる。
• これらの発見は、LDPにおけるメカニズム設計において、内部的なプライバシー消費を考慮する必要があることを示唆しており、標準の合成定理を上回るより良いプライバシー保証が得られる可能性がある。