[論文レビュー] The Podium Mechanism: Improving on the Laplace and Staircase Mechanisms

Vasyl Pihur|arXiv (Cornell University)|May 1, 2019

Privacy-Preserving Technologies in Data参考文献 21被引用数 7

ひとこと要約

Podium機構は、サポートが切り捨てられた3つの一様分布の有限混合を用いる、新しい微分プライバシー手法であり、ラプラスおよびステアケージェット機構よりも効用を向上させる。入力に依存するノイズ形状により、(ε, 0)-微分プライバシーを維持しながら、高プライバシー領域（ε < 1）ではノイズ分散を最大70%まで低減する。

ABSTRACT

The Podium mechanism guarantees ($ε, 0$)-differential privacy by sampling noise from a \emph{finite} mixture of three uniform distributions. By carefully constructing such a mixture distribution, we trivially guarantee privacy properties, while minimizing the variance of the noise added to our continuous outcome. Our gains in variance control are due to the "truncated" nature of the Podium mechanism where support for the noise distribution is maintained as close as possible to the sensitivity of our data collection, unlike the \emph{infinite} support that characterizes both the Laplace and Staircase mechanisms. In a high-privacy regime ($ε&lt; 1$), the Podium mechanism outperforms the other two by 50-70\% in terms of the noise variance reduction, while in a low privacy regime ($ε o \infty$), it asymptotically approaches the Staircase mechanism.

研究の動機と目的

• 微分プライバシーにおける効用とプライバシーのトレードオフを解消するために、プライバシー保証を損なわずにノイズ分散を低減すること。
• ラプラスおよびステアケージェット機構で一般的に見られる極端な外れ値を避けるために、有限の出力サポートを維持する機構の開発。
• 高プライバシー領域（ε < 1）におけるラプラス機構の非効率性を、切り捨てられた入力依存ノイズ分布によるノイズ分散の最小化によって改善すること。
• ラプラス機構の実用的代替手段を提供し、その効用を上回りつつ、ラプラス機構が使用可能なすべての状況に適用可能であることを目指すこと。
• 適切に構築された有限サポートのノイズ分布が、(ε, 0)-微分プライバシーを達成できることを示し、無限サポートが必須であるという仮定に疑問を呈すること。

提案手法

• Podium機構は、データ感度Δによって制限されたサポートを持つ、3つの一様分布の有限混合からノイズをサンプリングする。
• 入力値xに応じてノイズ分布の形状を動的に調整し、ノイズがxを中心に配置され、バイアスを回避する。
• ノイズ分布を定義する段階関数を用い、段階の位置tを入力ごとに計算することで、プライバシーと効用を両立する。
• ラプラスのような無限サポートの分布と比較して、ノイズサポートを[−Δ, Δ]に制限する切り捨てを活用し、分散を低減する。
• ノイズ分布は、δ近似に依存せず、正確な(ε, 0)-微分プライバシーによりプライバシーが保証されるように構築される。
• 計算コストは最小限に抑えられ、ノイズ追加毎に2つの一様乱数を生成し、ステップ位置tを計算する必要がある。

実験結果

リサーチクエスチョン

• RQ1 有限サポートのノイズ分布は、ラプラスおよびステアケージェット機構と比較して、(ε, 0)-微分プライバシーを達成しながらノイズ分散を低減できるか？
• RQ2 プライバシーレベル（ε）が変化する際、Podium機構のノイズ分散はラプラスおよびステアケージェット機構と比べてどのように変化するか？
• RQ3 切り捨てられた分布における入力依存ノイズ形状は、バイアスを排除しながらもプライバシーを維持できるか？
• RQ4 高プライバシー領域（ε < 1）および低プライバシー領域（ε → ∞）における、切り捨ての効用への影響は何か？
• RQ5 入力と出力の範囲（例：年齢の[1, 120]）を同じに保ちながら、(ε, 0)-微分プライバシーを確保することは可能か？

主な発見

• 高プライバシー領域（ε = 1）では、Podium機構がラプラス機構と比較してノイズ分散を約50–70%低減する。
• 理論的に最適とされるステアケージェット機構でさえ、ε = 1における分散低減の面でPodium機構に劣る。
• ε = 5では、各機構間の分散差が著しく小さくなり、元のデータ分散に比べてノイズ分散が無視できるほど小さくなる。
• Podium機構のノイズ分布は、入力の端に近づくと片側に偏るが、マージンmのおかげでxを中心に保たれ、バイアスが生じない。
• ε → ∞の極限において、Podium機構は徐々にステアケージェット機構の性能に近づき、低プライバシー限界における一貫性を確認する。
• Podium機構により、出力範囲を入力範囲（例：年齢の[1, 120]）に一致させることができ、負の値や極端な年齢のような不自然な値を低減できる。