[論文レビュー] Estimating Numerical Distributions under Local Differential Privacy

Zitao Li, Tianhao Wang+3 more|arXiv (Cornell University)|Dec 2, 2019

Privacy-Preserving Technologies in Data参考文献 22被引用数 6

ひとこと要約

本稿では、局所的微分プライバシー（LDP）下での数値分布推定の精度を向上させるために、新規のスクエアウェーブ（SW）レポートメカニズムと、スムージングを施した期待最大化（EMS）アルゴリズムを提案する。データの数値的順序を活用し、近接する値を優遇するレポート分布を最適化することで、SWにEMSを組み合わせた手法は、複数のプライバシー設定およびデータ分布設定において、既存手法を上回る性能を示す。

ABSTRACT

When collecting information, local differential privacy (LDP) relieves the concern of privacy leakage from users' perspective, as user's private information is randomized before sent to the aggregator. We study the problem of recovering the distribution over a numerical domain while satisfying LDP. While one can discretize a numerical domain and then apply the protocols developed for categorical domains, we show that taking advantage of the numerical nature of the domain results in better trade-off of privacy and utility. We introduce a new reporting mechanism, called the square wave SW mechanism, which exploits the numerical nature in reporting. We also develop an Expectation Maximization with Smoothing (EMS) algorithm, which is applied to aggregated histograms from the SW mechanism to estimate the original distributions. Extensive experiments demonstrate that our proposed approach, SW with EMS, consistently outperforms other methods in a variety of utility metrics.

研究の動機と目的

• ビニングによるカテゴリカル周辺分布の利用（CFO）の限界を是正する。これは、最適でないビン選択と、数値的構造の無視を伴う。
• 数値ドメインの順序性を活用するレポートメカニズムの設計により、LDPに基づく数値分布推定における性能を向上させる。
• 非負性と合計が1になる制約といった構造的制約を組み込むことで、推定精度を向上させる後処理技術を開発する。同時に、ノイズに対して耐性を持つようにする。
• 相互情報量の上限を最大化することで、入力と出力の間の相互情報量を最大化し、最適なプライバシー・ユーティリティトレードオフを達成するように、SWメカニズムの帯域幅パラメータ $ b $ を特定・最適化する。

提案手法

• スクエアウェーブ（SW）メカニズムを導入：値 $ v \in [0,1] $ を持つユーザーが、$ [-b, 1+b] $ の範囲でレポートを行い、$ [v-b, v+b] $ の範囲で確率密度 $ p $ を高くし、それ以外の領域では $ q $ を低くする。$ \frac{p}{q} = e^{\epsilon} $ を満たすことで、$ \epsilon $-LDPを達成する。
• 一般波（GW）メカニズム族を定義し、相互情報量の上限を最大化することで、波形形状の中でスクエアウェーブが最高の性能を示すことを証明する。
• 与えられた $ \epsilon $ に対して、入力と出力の間の相互情報量の上限を最大化する手法により、最適な帯域幅 $ b $ を計算する方法を提案する。
• SWメカニズムからの集計レポートに、期待最大化とスムージングを組み合わせた（EMS）アルゴリズムを適用し、元の分布を推定する。非負性と正規化制約を組み込む。
• ADMM最適化を用いて、階層ヒストグラム推定（HH-ADMM）を改善し、非負性と合計が1になる制約を強制することで、ノイズに起因する誤差を低減する。
• SWレポートとEMS、HH-ADMMを統合し、LDP下での正確な数値分布推定のための包括的パイプラインを構築する。

実験結果

リサーチクエスチョン

• RQ1 数値の順序性を活用するレポートメカニズムは、LDP設定下で、標準的なカテゴリカル周辺分布の利用（CFO）を上回る性能を示せるか？
• RQ2 LDP下で推定誤差を最小化するための最適なレポート分布の形状（例：スクエア、三角、台形）は何か？
• RQ3 スクエアウェーブメカニズムの帯域幅パラメータ $ b $ は、どのように選択すべきか？これは、プライバシー・ユーティリティトレードオフを最適化するためである。
• RQ4 数値に配慮したレポートメカニズムと組み合わせたEMスムージングによる後処理は、推定精度を顕著に向上させられるか？
• RQ5 提案手法（SW + EMS）は、多様なデータ分布およびプライバシー予算設定下で、既存手法（例：ビニング + CFO、HH-ADMM）と比較して、どのように性能を発揮するか？

主な発見

• 評価されたすべてのデータ分布およびプライバシーパラメータにおいて、スクエアウェーブメカニズムは、三角波や台形波などの他の波形形状よりも推定精度が優れている。
• 相互情報量の上限を最大化することで計算された最適な帯域幅 $ b $ は、ヒューリスティック的または固定の $ b $ 選択よりも顕著に優れた性能を示す。
• SWにEMSを組み合わせた手法は、テストされたすべてのデータセット（Beta(5,2)、タクシー出発時刻、収入、退職）において、真の分布とのワッサーシュタイン距離が最小であり、ベースライン手法比で最大30%の改善を達成した。
• ADMMを用いた改善版階層ヒストグラム（HH-ADMM）は、負の頻度やノイズに起因する誤差を低減し、元の階層ヒストグラム手法を上回る性能を示した。
• EMSアルゴリズムは終了条件に非常に敏感であるが、適切なスムージングとパrameterチューニングにより、真の分布の正確かつ耐障害性の高い回復が可能となった。
• 広範な実験により、SWにEMSを組み合わせた手法は、ワッサーシュタイン距離や平均二乗誤差といった複数のユーティリティ指標において、既存手法（例：ビニング + CFO、SR、PM、OLH）を一貫して上回ることが示された。