[論文レビュー] Collecting and Analyzing Multidimensional Data with Local Differential Privacy

Ning Wang, Xiaokui Xiao+6 more|arXiv (Cornell University)|Jun 28, 2019

Privacy-Preserving Technologies in Data参考文献 42被引用数 39

ひとこと要約

本論文は、数値データおよび多次元データの収集のための新しいLDP機構を2つ（Piecewise MechanismとHybrid Mechanism）を紹介し、それらの最悪ケース誤差を分析し、機械学習タスクのLDP準拙 SGD に適用します。

ABSTRACT

Local differential privacy (LDP) is a recently proposed privacy standard for collecting and analyzing data, which has been used, e.g., in the Chrome browser, iOS and macOS. In LDP, each user perturbs her information locally, and only sends the randomized version to an aggregator who performs analyses, which protects both the users and the aggregator against private information leaks. Although LDP has attracted much research attention in recent years, the majority of existing work focuses on applying LDP to complex data and/or analysis tasks. In this paper, we point out that the fundamental problem of collecting multidimensional data under LDP has not been addressed sufficiently, and there remains much room for improvement even for basic tasks such as computing the mean value over a single numeric attribute under LDP. Motivated by this, we first propose novel LDP mechanisms for collecting a numeric attribute, whose accuracy is at least no worse (and usually better) than existing solutions in terms of worst-case noise variance. Then, we extend these mechanisms to multidimensional data that can contain both numeric and categorical attributes, where our mechanisms always outperform existing solutions regarding worst-case noise variance. As a case study, we apply our solutions to build an LDP-compliant stochastic gradient descent algorithm (SGD), which powers many important machine learning tasks. Experiments using real datasets confirm the effectiveness of our methods, and their advantages over existing solutions.

研究の動機と目的

• ローカルデ differential privacy (LDP)の下で多次元データを収集する際のギャップを動機づけ、解決する。
• ε-LDPの下で数値属性の最悪ケースノイズ分散を改善する機構を開発する。
• 単一属性の機構を多次元の数値データおよびカテゴリデータへ拡張し、強力なプライバシー-有効性保証を提供する。
• 機械学習タスクのためのLDP準拠の確率的勾配降下法（SGD）パイプラインを構築することでケーススタディを提供する。

提案手法

• ε-LDP下の単一数値属性に対して出力を制約しデータ依存の区分ノイズを用いるPiecewise Mechanism (PM)を提案する。
• 最悪ケース分散を最小化するためにPMとDuchiらのアプローチを組み合わせたHybrid Mechanism (HM)を開発する。
• PMとHMを多次元データへ拡張するため、属性のサブセットを選択し、調整されたプライバシー予算で摂動させる（Algorithm 4）。
• 数値属性と分類属性の混合を扱う拡張（Section IV-C）を提供する。
• PM、HMおよび既存手法の最悪ケース分散を分析し、多次元設定で漸近的最適性を確立する。
• 提案する機構を用いたLDP準拲のSGDフレームワークを、線形/ロジスティック回帰およびSVMに適用して示す。

実験結果

リサーチクエスチョン

• RQ1 ε-ローカルデ differential privacyの下での数値データを、Laplace法や既存手法よりも精度を高く収集するにはどうすればよいか。
• RQ2 PMとHMを、多次元の数値データおよびカテゴリデータへ拡張し、漸近的に最適な誤差境界を達成できるか。
• RQ3 提案機構は、LDPの下で統計推定と勾配ベースの学習タスクにおいて実務的にどう機能するか。
• RQ4 高次元データにおけるプライバシーと有用性のトレードオフに対する属性サンプリング（Algorithm 4）の影響は。
• RQ5 機構を一般的なMLモデルのLDP準拄SGDフレームワークに効果的に統合できるか。

主な発見

• PMは1次元データにおいてLaplaceより最悪ケースノイズ分散が低く、ε ≥ 約1.29のときにはDuchiらの手法よりも良いことが多い。
• HMはすべてのε範囲においてPMおよびDuchiらのアプローチより、常に劣らず（しばしばより良い）最悪ケース分散を示す。
• 多次元データへの拡張（Algorithm 4）は、Duchiらの境界と一致する漸近的に最適な誤差を、実装を単純にした形で達成する。
• 提案する多次元機構は数値属性とカテゴリ属性の混合にも適用可能で、強力なプライバシー保証を提供する。
• PM/HMの構成要素から構築されたLDP準拙SGDアルゴリズムは、実データセット上で線形回帰/ロジスティック回帰およびSVMといったタスクに対して有効性を示す。