[論文レビュー] Discrete Distribution Estimation under Local Privacy

Peter Kairouz, Keith Bonawitz+1 more|arXiv (Cornell University)|Feb 24, 2016

Privacy-Preserving Technologies in Data参考文献 14被引用数 81

ひとこと要約

本稿では、コhortベースのハッシュ化とk-値ランダム化応答を組み合わせることで、離散的分布推定のための強化された局所的微分プライバシー機構O-RRを提案する。実験的に、歪んだデータおよび閉じたアルファベットの下で、O-RRがRapporやk-RRを上回ることを示しており、最小完全ハッシュ関数を用いることで衝突のリスクを低減し、性能を向上させている。

ABSTRACT

The collection and analysis of user data drives improvements in the app and web ecosystems, but comes with risks to privacy. This paper examines discrete distribution estimation under local privacy, a setting wherein service providers can learn the distribution of a categorical statistic of interest without collecting the underlying data. We present new mechanisms, including hashed K-ary Randomized Response (KRR), that empirically meet or exceed the utility of existing mechanisms at all privacy levels. New theoretical results demonstrate the order-optimality of KRR and the existing RAPPOR mechanism at different privacy regimes.

研究の動機と目的

• 局所的微分プライバシーの下で離散的分布を推定する課題に取り組み、性能損失を最小限に抑えつつユーザーのプライバシーを保護すること。
• Rappor や k-RR などの既存手法の限界を克服し、高プライバシーおよび低プライバシーの両領域で優れた性能を発揮するメカニズムの開発。
• ハッシュ化とコHORTを用いてk-RRをオープンアルファベットに拡張し、入力空間が未知または巨大な実世界システムへの実用的導入を可能にすること。
• 一般ハッシュ関数の代わりに最小完全ハッシュ関数を用いることで、閉じたアルファベットにおける衝突関連エラーを低減し、性能を向上させること。
• 与えられた標本サイズに対して任意の所望のプライバシー水準で性能を最大化できる、統一的かつパラメータチューナブルなメカニズム（O-RR）の提供。

提案手法

• コHORTベースのハッシュ化とブルームフィルタを用いて入力記号を有限の出力空間にマッピングすることで、オープンアルファベットにおけるk-RRの拡張を実現するO-RRを提案。
• 閉じたアルファベットにおいて、一般ハッシュ関数の代わりに最小完全ハッシュ関数を用いることで、衝突確率を低減し、推定精度を向上させる。
• 推定周辺の頻度を確率単体上に射影することで、歪んだ分布において性能を向上させるための射影推定器を採用。
• 正則化やフィルタリング段階を省略し、推定性能に焦点を当てた最小二乗回帰を用いた経験的推定を採用。
• さまざまなプライバシー水準（ε）、標本サイズ（n）、アルファベットサイズ（S）の下で、中央値ℓ₁およびℓ₂損失を用いて性能を評価。幾何分布および一様分布を用いた入力分布を想定。
• k、C（コHORTサイズ）、h（ブルームフィルタサイズ）、および入力分布の形状を変化させた複数の設定において、O-RRをRapporおよびk-RRと比較。

実験結果

リサーチクエスチョン

• RQ1 O-RRは、さまざまなプライバシー水準（ε）およびデータ分布において、Rappor や k-RR と比較してどの程度の性能を発揮するか？
• RQ2 O-RRのパラメータ（k、C、h）の最適な設定は、さまざまなプライバシーおよび標本サイズの制約下で推定誤差を最小化するためにどのようになるか？
• RQ3 最小完全ハッシュ関数の使用は、一般ハッシュ関数と比較して、閉じたアルファベットにおけるO-RRの性能を顕著に向上させるか？
• RQ4 歪んだ入力分布において、射影推定器は標準の経験的推定器よりも優れた性能を発揮するか？
• RQ5 入力記号集合が事前に不明であるオープンアルファベット環境において、O-RRはどのように動作するか？

主な発見

• S=256およびn=10⁶のオープンアルファベット設定において、O-RRはすべてのプライバシー領域でRapporと同等またはそれを上回る性能を発揮し、特に中程度のプライバシー水準で顕著である。
• 閉じたアルファベットでは、最小完全ハッシュ関数を用いることで、O-RRはk-RRおよびRapporを著しく上回り、すべてのεレベルで高い性能を発揮する。
• O-RRにおける最適なkはεに応じて増加し、C ≥ 2は常に性能向上に寄与するが、h=1は基本的なハッシュ化を超えて恩恵をもたらさない。
• 射影推定器は、幅広いプライバシー水準および標本サイズにおいて最良の性能を発揮し、特に歪んだ分布に対して顕著である。
• 低プライバシー領域ではk-RRがオーダー最適であり、高プライバシー領域ではRapporがオーダー最適であるが、それぞれの反対領域では厳密に劣っている。
• 閉じたアルファベットでは、C=h=1の場合、O-RRは出力が置換されたk-RRに還元されるが、完全ハッシュ化による衝突低減のおかげで、k-RRよりも優れた性能を達成する。