[論文レビュー] Differentially Private Regression and Classification with Sparse Gaussian Processes

Michael Thomas Smith, Mauricio A. Álvarez+1 more|arXiv (Cornell University)|Sep 19, 2019

Privacy-Preserving Technologies in Data参考文献 26被引用数 4

ひとこと要約

本稿では、スパース近似と修正された最適化を用いた、ガウス過程回帰および分類のための微分プライバシー枠組みを提案する。先行研究の限界を克服するため、外れ値への感受性を低減し、誘導点を用いて高次元分類を可能にするとともに、指数機構を用いたプライベートなハイパーパrameter選択手法を導入し、頑健なプライバシーと高い予測精度を達成した。

ABSTRACT

A continuing challenge for machine learning is providing methods to perform computation on data while ensuring the data remains private. In this paper we build on the provable privacy guarantees of differential privacy which has been combined with Gaussian processes through the previously published \emph{cloaking method}. In this paper we solve several shortcomings of this method, starting with the problem of predictions in regions with low data density. We experiment with the use of inducing points to provide a sparse approximation and show that these can provide robust differential privacy in outlier areas and at higher dimensions. We then look at classification, and modify the Laplace approximation approach to provide differentially private predictions. We then combine this with the sparse approximation and demonstrate the capability to perform classification in high dimensions. We finally explore the issue of hyperparameter selection and develop a method for their private selection. This paper and associated libraries provide a robust toolkit for combining differential privacy and GPs in a practical manner.

研究の動機と目的

• 従来の微分プライバシー付きガウス過程手法が外れ値に対して脆弱であるという問題を解消すること。
• 修正されたラプラス近似を用いて、回帰から分類への微分プライバシー学習を拡張すること。
• 微分プライバシーと整合するプライベートなハイパーパrameter最適化戦略を開発すること。
• スパース近似を用いることで、高次元データセットにおけるプライベートガウス過程の実用的導入を可能にすること。
• 予測精度を維持しつつ、回帰および分類タスクにおいて証明可能なプライバシー保証を確保すること。

提案手法

• 外れ値の影響を低減するため、非定常共分散関数を導入し、事後平均予測への影響を軽減する。
• 誘導点を用いたスパースGP近似を適用し、高次元および低密度領域におけるスケーラビリティとロバストネスを向上させる。
• 分類のためのラプラス近似を修正し、最適化目的関数にノイズを加えることで微分プライバシーを確保する。
• 微分プライバシー付き指数機構を用い、モデル構成のグリッドサーチを通じてプライベートなハイパーパラメータ選択を実行する。
• スパース近似をプライベート分類フレームワークと統合し、高次元設定における効率的かつプライベートな推論を可能にする。
• 事後平均および最適化ステップに適切にキャリブレートされたノイズを追加することで、(ε, δ)-微分プライバシーを維持する。

実験結果

リサーチクエスチョン

• RQ1 この分野における先行研究がほとんどない中、どのようにして微分プライバシーをガウス過程分類に効果的に適用できるか。
• RQ2 スパースGP近似は、高次元および外れ値に敏感な領域におけるプライベート回帰のロバストネスを向上させ得るか。
• RQ3 非定常カーネルの影響は、プライベート予測の外れ値への感受性にどのように現れるか。
• RQ4 モデルのプライバシー保証を損なわせることなく、ハイパーパラメータをどのようにプライベートに選択できるか。
• RQ5 スパース近似とプライベート最適化の組み合わせが、高次元分類タスクにおける予測精度をどの程度維持できるか。

主な発見

• スパースGP近似により、外れ値がプライベート予測に与える影響が顕著に低減され、低密度領域における安定性が向上した。
• 修正されたラプラス近似を用いた本手法によるプライベート分類は、比較的少ない訓練データ点でも有用な予測精度を達成した。
• 指数機構によるプライベートなハイパーパラメータ選択は、高い性能を示す構成を効果的に同定でき、上位4つの構成の確率が0.023を超えていた。
• モデル学習およびハイパーパラメータチューニングのすべてのコンponentにおいて微分プライバシーが維持されており、プライバシー予算を注意深く追跡した。
• 実験結果から、テストデータにおけるRMSEは厳密なプライバシー制約下でも低く保たれており（例：16.06–18.14）、優れた一般化性能を示した。
• 本フレームワークにより、高次元データにおけるプライベート学習が可能となり、従来の非スパース手法が高次元で失敗するという制限を克服した。