[論文レビュー] Conditional Analysis for Key-Value Data with Local Differential Privacy

Lin Sun, Jun Zhao+4 more|arXiv (Cornell University)|Jul 11, 2019

Privacy-Preserving Technologies in Data参考文献 26被引用数 15

ひとこと要約

本稿は、強いプライバシー保証のもとで正確な周波数および平均推定を実現する、キーバリュー型データ分析のための局所的微分プライバシー（LDP）メカニズムを提案する。新たな符号化および復号化手法を導入し、キーや値の間の相関関係をモデル化するための条件付き分析を導入することで、特に低平均領域において、先行手法よりも低い推定誤差を達成した。

ABSTRACT

Local differential privacy (LDP) has been deemed as the de facto measure for privacy-preserving distributed data collection and analysis. Recently, researchers have extended LDP to the basic data type in NoSQL systems: the key-value data, and show its feasibilities in mean estimation and frequency estimation. In this paper, we develop a set of new perturbation mechanisms for key-value data collection and analysis under the strong model of local differential privacy. Since many modern machine learning tasks rely on the availability of conditional probability or the marginal statistics, we then propose the conditional frequency estimation method for key analysis and the conditional mean estimation for value analysis in key-value data. The released statistics with conditions can further be used in learning tasks. Extensive experiments of frequency and mean estimation on both synthetic and real-world datasets validate the effectiveness and accuracy of the proposed key-value perturbation mechanisms against the state-of-art competitors.

研究の動機と目的

• キーバリュー型データに対する既存のLDP手法の限界、特に低平均値下での性能の悪さを解消すること。
• 通信コストを抑えた非インタラクティブな符号化および復号化メカニズムを効率的に開発し、ε-微分プライバシーを保証すること。
• キーバリュー型データにおける条件付き分析を可能にし、キーと対応する値の間の依存関係をモデル化することで、高度な分析を可能にすること。
• 最先端のLDP技術を最適化された離散化およびノイズ注入と組み合わせることで、周波数推定および平均推定の両方の推定精度を向上させること。
• 提案手法の理論的および実験的妥当性を検証し、特にさまざまなデータ分布およびプライバシー予算下での性能を評価すること。

提案手法

• 周波数推定と平均推定の両方の精度を向上させるために、最適化されたノイズ注入を施したランダム・レスポンスを用いた新たな摂動手法であるKVUEメカニズムを提案する。
• デフォルト値の符号化と分散低減を活用することで平均推定を向上させるF2M（Frequency-to-Mean）およびKVOH（Key-Value Optimal Hashing）メカニズムを導入する。
• 複数のキーにわたる連合周波数および条件付き平均の推定を可能にするため、条件付き分析用のワンホット符号化方式を設計する。
• 推定誤差が反復処理に伴い蓄積されることを理論的に分析し、不偏な平均推定を達成するための反復的精錬手法を提案する。
• 高次元の条件付き分析における通信コストおよび計算コストを削減するための将来の最適化手法として、ハダマード変換を活用する。
• ランダム・レスポンスやヒストグラムベース推定といった既存のLDP技術を、キーバリュー型データに統合可能な統一フレームワークに統合する。

実験結果

リサーチクエスチョン

• RQ1 局所的微分プライバシー下で、特に平均値が低い場合に、キーバリュー型データの周波数および平均推定の精度をどのように向上させられるか。
• RQ2 通信および計算コストを最小限に抑えつつ、強力なプライバシー保証を達成する符号化および復号化メカニズムは何か。
• RQ3 キーバリュー型データにおける条件付き分析をどのように形式化・実装できるか。特に、キーと関連する値の間の相関関係をモデル化するには。
• RQ4 F2Mのような平均推定メカニズムにおけるデフォルト値の選択が、推定精度に与える影響は何か。
• RQ5 条件付き分析における次元数の増加に伴い、推定誤差はどのように変化するのか。また、このアプローチの実用的限界は何か。

主な発見

• KVUEメカニズムは、テストされたすべてのデータセットおよびプライバシー予算において、周波数推定および平均推定の両方で最小の推定誤差を達成した。
• F2MおよびKVOHメカニズムは、妥当な精度を示し、特に低平均領域でPrivKVMおよびPrivKVを上回った。
• キーの周波数が高くなるほど推定誤差が減少し、より多くのデータが推定を安定化させることを示した。
• F2Mにおけるデフォルト値の選択は、平均推定精度にほとんど影響を及ぼさないことが判明した。これは、離散化ノイズがランダム・レスポンスノイズに支配されていることを示している。
• 次元数の増加に伴い、符号化空間の指数的増加（O(d³)）により、条件付き周波数および平均推定の誤差が増加した。
• 条件付き平均推定誤差は、常に条件付き周波数推定誤差よりも低く、周波数推定誤差が平均推定に伝搬されるためである。