[論文レビュー] Differentially Private Gaussian Processes

Michael Thomas Smith, Max Zwiessele+1 more|arXiv (Cornell University)|Jun 2, 2016

Gaussian Processes and Bayesian Inference参考文献 21被引用数 8

ひとこと要約

本稿では、訓練出力を保護しつつ予測精度を維持するためのプライバシー保護型ガウス過程回帰手法を提案する。テストポイント間の相関構造に合わせてノイズの共分散構造を設計することで、標準的手法よりも効果的にDPノイズを低減するクローキング手法を採用し、実世界データを用いた実験で顕著に低いRMSEを達成した。

ABSTRACT

A major challenge for machine learning is increasing the availability of data while respecting the privacy of individuals. Here we combine the provable privacy guarantees of the differential privacy framework with the flexibility of Gaussian processes (GPs). We propose a method using GPs to provide differentially private (DP) regression. We then improve this method by crafting the DP noise covariance structure to efficiently protect the training data, while minimising the scale of the added noise. We find that this cloaking method achieves the greatest accuracy, while still providing privacy guarantees, and offers practical DP for regression over multi-dimensional inputs. Together these methods provide a starter toolkit for combining differential privacy and GPs.

研究の動機と目的

• ガウス過程回帰において、機微な訓練出力（例：収入、被害者情報など）を保護しつつ、予測精度を維持する課題に対処すること。
• 特に出力が機微な状況下でも、GP回帰に対して明示的な微分プライバシー保証を提供する手法を開発すること。
• テストポイントの予測間の相関構造を活用することで、プライバシーに必要なDPノイズのスケールを低減すること。
• 非パラメトリック回帰に微分プライバシーを適用するための実用的ツールキットを提供すること。
• インダクティングポイントと適応的ノイズスケーリングの活用が、さらにプライバシーコストを低減できるかを検討すること。

提案手法

• 本手法は、訓練出力の変更に対する平均の感度によって制限されるノイズスケールを持つガウスメカニズムを用いて、GP事後平均にDPノイズを追加する。
• 本稿では、テストポイントの既知の位置に基づいてノイズ共分散を構造化する、新たなクローキング手法を導入し、予測全体の感度を最小化する。
• ノイズ共分散は、テストポイント間の相関を活用して最適化され、(ε, δ)-微分プライバシーを維持しながら摂動を低減する。
• 訓練入力を公開すると仮定することで、GPカーネルと共分散構造を機微を損なわずに公開可能となる。
• 本手法は任意のステーショナリティを要件としないステーショナリティおよび非ステーショナリティのカーネルをサポートする。
• 本手法は、汚染されたGP事後分布からのサンプリング、または任意のクエリに対応するDP準拠サーバーを通じて予測を公開可能となる。

実験結果

リサーチクエスチョン

• RQ1 訓練出力が機微な状況下で、ガウス過程回帰に微分プライバシーを効果的に適用する方法は何か？
• RQ2 テストポイントの予測に対する感度を、構造化されたノイズ共分散によって低減できるか？
• RQ3 提案されたクローキング手法は、ラプラスノイズを用いた標準的なDP手法（例：ビニング）と比較して、どのように性能を発揮するか？
• RQ4 データ密度や長尺度に応じた適応的ノイズスケーリングは、全体のプライバシーコストを低減できるか？
• RQ5 インダクティングポイントの使用は、感度とDPノイズの低減にどのような影響を及えるか？

主な発見

• クローキング手法は、特に中程度から高いプライバシー予算（ε > 1）の下で、単純なビニングにラプラスノイズを適用する手法よりも顕著に低いRMSEを達成した。
• DPを適用しない状況では、短い長尺度を用いたクローキング手法が、微細な空間的構造を捉える能力により、最も高い精度の予測を提供した。
• 単純なビニング手法は、DPノイズの増加に伴い急激に性能が低下し、特に低占有のビンでは平均の分散が高いため、その影響が顕著だった。
• クローキング手法は、テストポイント間の相関を活用することでDPノイズを低減し、より正確かつプライバシー保護型の予測を実現した。
• 長尺の長尺度を用いることで、平均化が促進され感度が低下するため、小さなε値でも本手法は依然として有効である。
• 非ステーショナリティの長尺度や、出力ごとの適応的ノイズスケーリングを導入することで、さらにプライバシーコストを低減しつつ精度を維持できる可能性がある。