[論文レビュー] Differentially Private Bayesian Optimization

Matt J. Kusner, Jacob R. Gardner+2 more|PolyPublie (École Polytechnique de Montréal)|Jan 16, 2015

Privacy-Preserving Technologies in Data参考文献 45被引用数 24

ひとこと要約

本稿では、最適なハイパーパramータと検証精度をプライベートに公開しつつ、ほぼ最適な性能を維持する、最初の微分プライバシー付きベイズ最適化フレームワークを提案する。ガウス過程と滑らかさの仮定の下で、適切にスケーリングされたノイズをガウス過程の事後平均に注入することにより、微分プライバシーの保証を得ることで、強いプライバシーを確保しつつ最適化性能の損失を限定する。

ABSTRACT

Bayesian optimization is a powerful tool for fine-tuning the hyper-parameters of a wide variety of machine learning models. The success of machine learning has led practitioners in diverse real-world settings to learn classifiers for practical problems. As machine learning becomes commonplace, Bayesian optimization becomes an attractive method for practitioners to automate the process of classifier hyper-parameter tuning. A key observation is that the data used for tuning models in these settings is often sensitive. Certain data such as genetic predisposition, personal email statistics, and car accident history, if not properly private, may be at risk of being inferred from Bayesian optimization outputs. To address this, we introduce methods for releasing the best hyper-parameters and classifier accuracy privately. Leveraging the strong theoretical guarantees of differential privacy and known Bayesian optimization convergence bounds, we prove that under a GP assumption these private quantities are also near-optimal. Finally, even if this assumption is not satisfied, we can use different smoothness guarantees to protect privacy.

研究の動機と目的

• 感受性の高い検証データが使用される機械学習のハイパーパramータチューニングにおけるプライバシー漏洩を解決すること。
• 最適なハイパーパramータと検証精度を最適化性能を損なわずにプライベートに公開する手法を開発すること。
• 正確な観測とノイズあり観測の両方の下で、ベイズ最適化における証明可能な微分プライバシー保証を提供すること。
• ガウス過程の仮定を超えて、目的関数の滑らかさ条件を用いてプライバシー保証を拡張すること。

提案手法

• 不確実性をモデル化し最適化をガイドするために、検証ゲイン関数にガウス過程（GP）事前分布を用いる。
• 最適なハイパーパラメータの選択をプライベートにするために、GP事後平均に適切にスケーリングされたノイズを追加することで微分プライバシーを適用する。
• ベイズ最適化の収束バウンドが既知であることを利用し、GP仮定の下でプライベート出力がほぼ最適なままであることを示す。
• データセットの摂動に対するGP事後平均の感度解析を通じて、プライバシー保証を確立する。
• 目的関数に有界変動やリプシッツ連続性などの滑らかさ条件を仮定することで、非GP設定への結果の拡張を行う。
• 探索と活用のバランスを保ちつつ微分プライバシーを維持するプライバシー保護型の獲得関数を導出する。

実験結果

リサーチクエスチョン

• RQ1 ハイパーパラメータチューニングにおいて、近似的に最適なパフォーマンスを維持しながら、ベイズ最適化を微分プライバシー化できるか？
• RQ2 感受性の高いデータを露呈せずに、最適なハイパーパラメータと検証精度をどのようにプライベートに公開できるか？
• RQ3 微分プライバシーをベイズ最適化に適用した際のパフォーマンス損失の理論的バウンドは何か？
• RQ4 目的関数がガウス過程に従わない場合でも、プライバシー保証を維持できるか？
• RQ5 ノイズスケールの選択が、プライバシーと最適化精度のトレードオフにどのように影響するか？

主な発見

• 提案手法は、GP仮定の下で、最適なハイパーパラメータと検証精度の公開について(ε, δ)-微分プライバシーを達成する。
• プライバシー化に起因するパフォーマンス損失はバウンドされており、理論的保証がベイズ最適化の収束バウンドから導出されるため、ほぼ最適なままである。
• GP仮定がなくても、目的関数の有界変動やリプシッツ連続性などの滑らかさ条件が満たされていれば、微分プライバシーが保たれる。
• フレームワークは正確な観測とノイズあり観測の両方をサポートしており、測定ノイズを伴う実世界の機械学習設定に適用可能である。
• 医療や金融などの感受性の高い分野において、モデルチューニング結果のプライベートな共有を可能にする。
• 本手法は、ベイズ最適化によるグローバルブラックボックス最適化において、証明可能な微分プライバシーを提供する最初の手法であり、従来のプライベート凸最適化の研究を拡張する。