[論文レビュー] Heavy Hitters and the Structure of Local Privacy

Mark Bun, Jelani Nelson+1 more|arXiv (Cornell University)|Nov 13, 2017

Cryptography and Data Security参考文献 17被引用数 5

ひとこと要約

この論文は、最悪ケースの誤差が最適であり、失敗確率 β を含むすべての標準パラメータにきびしい依存関係を示す、重いヘッダー問題の新しい局所的微分プライバシー（LDP）アルゴリズムを提示する。著者らは、局所的プライバシー構造の洗練された理解を基に、β を組み込んだ誤差のタイトな下界を証明し、すべてのパラメータにおいてそのアルゴリズムの最適性を示した。さらに、中央モデルとは異なり、k に対して線形ではなく ≈√k の割合でグループプライバシーが劣化する、局所モデルに特有の先進的なグループプライバシー特性も確立した。

ABSTRACT

We present a new locally differentially private algorithm for the heavy hitters problem which achieves optimal worst-case error as a function of all standardly considered parameters. Prior work obtained error rates which depend optimally on the number of users, the size of the domain, and the privacy parameter, but depend sub-optimally on the failure probability. We strengthen existing lower bounds on the error to incorporate the failure probability, and show that our new upper bound is tight with respect to this parameter as well. Our lower bound is based on a new understanding of the structure of locally private protocols. We further develop these ideas to obtain the following general results beyond heavy hitters. $\bullet$ Advanced Grouposition: In the local model, group privacy for $k$ users degrades proportionally to $\approx \sqrt{k}$, instead of linearly in $k$ as in the central model. Stronger group privacy yields improved max-information guarantees, as well as stronger lower bounds (via "packing arguments"), over the central model. $\bullet$ Building on a transformation of Bassily and Smith (STOC 2015), we give a generic transformation from any non-interactive approximate-private local protocol into a pure-private local protocol. Again in contrast with the central model, this shows that we cannot obtain more accurate algorithms by moving from pure to approximate local privacy.

研究の動機と目的

• 最悪ケース誤差が最適となる、重いヘッダー問題のための局所的微分プライバシー（LDP）アルゴリズムを設計すること。
• 先行研究のギャップを埋めるために、失敗確率 β に最適な依存関係を達成すること。これまでは、β に対して部分的な依存関係しか達成できていなかった。
• 局所的プライバシープロトコルの構造に関する理論的理解を強化すること。
• 局所モデルにおいて、グループプライバシーが k に対して線形ではなく ≈√k の割合で劣化することを示すこと。中央モデルとは異なり、このように劣化する。
• 純粋なプライバシーから近似プライバシーに移行しても、精度が向上しないことを示す。これは、近似プライバシーから純粋プライバシーへの一般的変換により示される。

提案手法

• Bassily ら (2015) の技術と [22] の非プライベートなアルゴリズムを組み合わせることで、重いヘッダー問題のための新しい局所的微分プライバシー（LDP）アルゴリズムを提案する。
• 局所的プライバシープロトコルにおける相互情報量と条件付きエントロピーの分析を洗練させ、よりタイトな下界を導出する。
• 反濃度定理（例：定理 7.5 および系 7.6）を用いて、局所的プライバシー制約下での和推定器の分散を制限する。
• チェルノフの不等式を用いて、トランスクリプトに「良い」インデックス（事後エントロピーが高まっている）が十分に含まれる確率を分析する。
• 任意の非インタラクティブな (ε, δ)-プライベートな局所プロトコルを純粋 ε-プライベートな局所プロトコルに変換する一般的変換を開発し、局所モデルにおいて近似プライバシーが精度向上に寄与しないことを示した。
• パッキングの議論と情報理論的ツールを用いて、誤差の下界が β に対して Ω(1/ε · √(n log(1/β))) に依存することを証明し、上界と一致することを示した。

実験結果

リサーチクエスチョン

• RQ1 局所的微分プライバシー（LDP）の重いヘッダープロトコルにおいて、失敗確率 β に最適な誤差依存関係を達成できるか？
• RQ2 よりタイトな下界を可能にする、局所的プライバシープロトコルの真の構造は何か？
• RQ3 中央モデルとは対照的に、局所モデルにおけるグループプライバシーの劣化はどのように進行するか？
• RQ4 近似局所プライバシーは、純粋局所プライバシーに比べて精度の面で利点をもたらすか？
• RQ5 精度を損なわずに、近似局所プロトコルを純粋局所プロトコルに変換できるか？

主な発見

• 提案されたアルゴリズムは、すべてのパラメータ（β を含む）に最適な依存関係を示し、最悪ケース誤差が O(1/ε · √(n log(|X|/β))) に抑えられる。
• 誤差の下界は Ω(1/ε · √(n log(1/β))) であり、β に関して上界がタイトであることが証明された。
• 局所モデルにおいて、k ユーザーのグループプライバシーは ≈√k の割合で劣化するが、中央モデルとは異なり、k に対して線形でない。
• 本論文では、近似局所プライバシーが純粋局所プライバシーに比べてより正確なアルゴリズムをもたらさないことが示された。これは、一般的変換により証明された。
• 分析により、入力と局所レポート間の相互情報量が有界であることが判明し、和推定に強い反濃度議論が可能になった。
• 失敗確率 β は誤差境界に log(1/β) の形で現れ、この依存関係がタイトであることが証明された。