[論文レビュー] KNG: The K-Norm Gradient Mechanism

Matthew Reimherr, Jordan Awan|arXiv (Cornell University)|May 23, 2019

Privacy-Preserving Technologies in Data参考文献 31被引用数 4

ひとこと要約

本稿では、目的関数の勾配と柔軟なKノルムを用いて候補解を重みづけすることで、プライバシーを保ちつつ性能を向上させる、新しい微分プライバシー機構であるK-ノルム勾配機構（KNG）を提案する。指数型機構とは異なり、KNGは統計的誤差に対して漸近的に無視できるノイズを達成し、線形回帰および分位数回帰において優れた性能を示す一方で、強力なプライバシー保証を維持する。

ABSTRACT

This paper presents a new mechanism for producing sanitized statistical summaries that achieve \emph{differential privacy}, called the \emph{K-Norm Gradient} Mechanism, or KNG. This new approach maintains the strong flexibility of the exponential mechanism, while achieving the powerful utility performance of objective perturbation. KNG starts with an inherent objective function (often an empirical risk), and promotes summaries that are close to minimizing the objective by weighting according to how far the gradient of the objective function is from zero. Working with the gradient instead of the original objective function allows for additional flexibility as one can penalize using different norms. We show that, unlike the exponential mechanism, the noise added by KNG is asymptotically negligible compared to the statistical error for many problems. In addition to theoretical guarantees on privacy and utility, we confirm the utility of KNG empirically in the settings of linear and quantile regression through simulations.

研究の動機と目的

• プライバシー推定における指数型機構の高いノイズの大きさが、しばしば推定誤差のスケールと一致するという問題に対処すること。
• 指数型機構の柔軟性を保ちつつ、目的関数の摂動法と同等の性能を達成する機構の開発。
• ラプラス、Kノルム、PrivateQuantile機構を含む既存の機構を一般化する、柔軟なノルムに基づく勾配重みづけによる統一的枠組みの提供。
• 線形回帰および分位数回帰におけるKNGの性能を実験的に検証し、非プライベートの誤差率に漸近的に近づくことを示すこと。
• 勾配が明確に定義される無限次元のパrameter空間、例えばヒルバート空間やリーマン多様体において、KNGの可能性を検討すること。

提案手法

• KNGは、確率密度が exp(−c₀‖∇ℓₙ(θ;D)‖_K) に比例するように構築され、ここで ∇ℓₙ は経験的目的関数の勾配であり、‖·‖_K はユーザーが選択可能なKノルムである。
• Kノルムは凸集合Kを介して定義され、問題の感度構造に合わせてカスタマイズ可能であり、ノルムに基づく性能最適化を可能にする。
• この機構は、目的関数の勾配が0に近い解θを促進するため、目的関数の最小化点を的確に標的とする。
• KNGは指数型機構の特殊なケースであることが示され、勾配に基づく重みづけのおかげで統計的効率性が向上している。
• サンプリングには、特に高次元設定で効果的な、1回ずつギブスサンプリングを用いたマルコフ連鎖モンテカルロ（MCMC）法が用いられる。
• 本手法は、平均推定、分位数推定、線形回帰、分位数回帰に適用され、ε=1における実験的検証が行われた。

実験結果

リサーチクエスチョン

• RQ1 指数型機構の柔軟性を保ちつつ、目的関数の摂動法と同等の性能を達成する微分プライバシー機構を設計できるか？
• RQ2 目的関数の勾配にノルムに基づく重みづけを適用することで、統計的誤差に対するノイズの大きさを低減できるか？
• RQ3 KNGは、従来のプライベート機構が存在しない分位数回帰を含む回帰問題に、効率的にサンプリング可能で適用可能か？
• RQ4 非強い凸な設定においてKNGが oₚ(n⁻¹/²) の誤差を達成するか？これは理論的仮定が満たされていなくても、より広範な適用可能性を示唆する。
• RQ5 KNGは、ヒルバート空間やリーマン多様体のような無限次元パrameter空間へ拡張可能か？

主な発見

• KNGは、多くの問題において統計的誤差に対して漸近的に無視できるノイズを達成する。これに対して指数型機構は、推定誤差と同程度のノイズを追加する。
• 線形回帰および分位数回帰のシミュレーションにおいて、KNGの推定誤差は非プライベート推定器の誤差率（Oₚ(n⁻¹/²)）に漸近的に近づくことが示され、効率的なプライベート推定が可能であることを示している。
• 指数型機構の誤差は、傾き−1/2の直線に近づくが、より高い切片を持つため、漸近的な分散が高くなる。一方、KNGの誤差は非プライベートの直線と非常に近接している。
• KNGは、分位数回帰のための最初のプライベート機構であり、MCMCサンプリングを用いた実験的に効率的で実用的なものであることが示された。
• 理論的仮定が非凸回帰設定では満たされていない（定理3.2）にもかかわらず、KNGは still oₚ(n⁻¹/²) の誤差を達成しており、より広範な適用可能性を示唆している。
• KNGは既存の機構を一般化する：ラプラス、Kノルム、PrivateQuantile機構は、特定のノルム選択におけるKNGの特殊ケースである。