[論文レビュー] Tight Lower Bounds for Locally Differentially Private Selection

Jonathan Ullman|arXiv (Cornell University)|Feb 7, 2018

Privacy-Preserving Technologies in Data参考文献 17被引用数 26

ひとこと要約

この論文は、単体上での線形関数の最適化および指数的メカニズムの実装における、非インタラクティブな局所的微分プライバシー方式の、定数要因で最適な下界を確立する。結果は、局所的微分プライバシーが中央モデルと比較して高次元において指数的サンプル複雑性のペナルティを引き起こすことを示し、先行研究が残した定量的ギャップを解消する。

ABSTRACT

We prove a tight lower bound (up to constant factors) on the sample complexity of any non-interactive local differentially private protocol for optimizing a linear function over the simplex. This lower bound also implies a tight lower bound (again, up to constant factors) on the sample complexity of any non-interactive local differentially private protocol implementing the exponential mechanism. These results reveal that any local protocol for these problems has exponentially worse dependence on the dimension than corresponding algorithms in the central model. Previously, Kasiviswanathan et al. (FOCS 2008) proved an exponential separation between local and central model algorithms for PAC learning the class of parity functions. In contrast, our lower bound are quantitatively tight, apply to a simple and natural class of linear optimization problems, and our techniques are arguably simpler.

研究の動機と目的

• 単体上での線形最適化における非インタラクティブな局所的微分プライバシー方式のサンプル複雑性に対するタイトな下界を確立すること。
• 高次元設定における局所的微分プライバシーと中央モデルとの間の本質的非効率性を定量化すること。
• 局所的プライバシー方式におけるプライバシーと効率性のトレードオフを理解するうえでの定量的ギャップを解消すること。
• 従来の指数的分離結果に依存しない、より単純で直接的な解析を提供すること。

提案手法

• 情報理論的議論を用いて、局所的微分プライバシー下での正確な推定に必要な最小サンプルサイズを制限する。
• サンプル複雑性の下界を導出するために、単体上での線形最適化問題の困難なインスタンスを構築する。
• 指数的メカニズムから線形最適化問題への還元を用い、両者の間で下界を転送する。
• ファノ型の不等式および相互情報量の議論を用いて、局所的プライバシー方式の根本的限界を特徴付ける。
• 複雑な組合せ的構成を避ける代わりに、単体上の幾何学的および確率的推論に依存する。
• このフレームワークは、非インタラクティブな局所的プロトコルおよび指数的メカニズムの両方に適用可能である。

実験結果

リサーチクエスチョン

• RQ1 単体上での線形最適化における非インタラクティブな局所的微分プライバシー方式のサンプル複雑性に対する、最もタイトな下界は何か？
• RQ2 局所的微分プライバシーのサンプル複雑性は次元に対してどのようにスケーリングするか？中央モデルと比較して。
• RQ3 自然な問題に対して、局所モデルと中央モデルの間の指数的分離を定量的にタイトにできるか？
• RQ4 定数要因で最適な性能を達成するための、局所的微分プライバシー下での指数的メカニズムの実装に必要な最小サンプルサイズは何か？
• RQ5 複雑な構成に依存せずに、タイトな境界を達成するより単純な証明技法は可能か？

主な発見

• この論文は、単体上での非インタラクティブな局所的微分プライバシー線形最適化のサンプル複雑性について、定数要因の範囲でタイトな下界を確立する。
• この下界は、局所的微分プライバシー下での指数的メカニズムに対しても、対応するタイトな下界を示唆する。
• 局所モデルにおけるサンプル複雑性は次元とともに指数的に増加するが、中央モデルでは多項式的スケーリングであるのと対照的である。
• このクラスの問題に対して、局所モデルと中央モデルの間には指数的ギャップが存在し、定量的にタイトであることが明らかになった。
• 証明技法は、パリティ関数のPAC学習で用いられる手法など、従来のアプローチよりも単純で直接的である。
• これらの発見により、以前の研究が残した定量的ギャップが埋められ、高次元最適化における局所的プライバシーのコストを明確に特徴づけるものとなった。