[論文レビュー] Private Outsourced Bayesian Optimization

Dmitrii Kharkovskii, Zhongxiang Dai+1 more|arXiv (Cornell University)|Oct 24, 2020

Gaussian Processes and Bayesian Inference被引用数 9

ひとこと要約

この論文は、証明可能なレグレット保証を持つ、外部委託設定を想定したプライバシー保護型ベイズ最適化アルゴリズムであるPO-GP-UCBを紹介する。ランダムプロジェクションを用いて感覚的データを変換することで、入力間の距離を保持しつつプライバシーを保護し、モデルラーが元のデータにアクセスせずにプライバシーを損なわず最適化を実行できる。

ABSTRACT

This paper presents the private-outsourced-Gaussian process-upper confidence bound (PO-GP-UCB) algorithm, which is the first algorithm for privacy-preserving Bayesian optimization (BO) in the outsourced setting with a provable performance guarantee. We consider the outsourced setting where the entity holding the dataset and the entity performing BO are represented by different parties, and the dataset cannot be released non-privately. For example, a hospital holds a dataset of sensitive medical records and outsources the BO task on this dataset to an industrial AI company. The key idea of our approach is to make the BO performance of our algorithm similar to that of non-private GP-UCB run using the original dataset, which is achieved by using a random projection-based transformation that preserves both privacy and the pairwise distances between inputs. Our main theoretical contribution is to show that a regret bound similar to that of the standard GP-UCB algorithm can be established for our PO-GP-UCB algorithm. We empirically evaluate the performance of our PO-GP-UCB algorithm with synthetic and real-world datasets.

研究の動機と目的

• データキュレーターとモデルラーが別々の主体である外部委託設定において、プライバシー保護型ベイズ最適化の欠如を解消すること。
• 非プライベートなGP-UCBと同等の性能を、プライバシー保護されたデータに適用した場合に維持すること。
• 微分プライバシー制約下で、提案されたアルゴリズムの理論的レグレットバウンドを提供すること。
• 直接データを共有できない医療、金融、不動産など、感受性の高い分野での実用的導入を可能にすること。
• プライバシーと入力データの幾何的構造の両方を保持する変換を設計し、最適化の正確性を維持すること。

提案手法

• 外部委託設定におけるプライバシー保護型ベイズ最適化のための、プライベート・アウトソーシング・ガウス過程・上側信頼区間ボンド（PO-GP-UCB）アルゴリズムを提案する。
• 元のデータセットを、入力間の対比較距離を保持するプライバシー保護型形式に変換するため、ランダムプロジェクションを適用する。
• ジョンソン＝リンデンストラウス補題を用いて、投影されたデータが効果的なGP-UCB最適化に十分な構造を保持することを保証する。
• ランダムプロジェクションによる微分プライバシーの統合により、個々のデータポイントの推測を制限しながらも、データの有用性を維持する。
• 標準的なGP-UCBと同等の形式をとる理論的レグレットバウンドをPO-GP-UCBに対して確立する。
• モデルラーが元のデータセットやキュレーターのデータに関する完全な知識なしに、変換済みデータ上で最適化を実行できることを保証する。

実験結果

リサーチクエスチョン

• RQ1 データキュレーターとモデルラーが別個の主体である外部委託設定において、プライバシー保護型ベイズ最適化アルゴリズムを設計できるか？
• RQ2 ランダムプロジェクションが、微分プライバシー下でGP-UCBの性能を維持するために必要な入力の幾何的構造を保持できるか？
• RQ3 外部委託設定における微分プライバシー型BOアルゴリズムに対して、証明可能なレグレットバウンドを確立できるか？
• RQ4 プライバシー保護されたデータに適用した場合、PO-GP-UCBの性能は非プライベートなGP-UCBと比べてどの程度か？
• RQ5 外部委託型ベイズ最適化における、プライバシー、データの有用性、最適化効率の間のトレードオフは何か？

主な発見

• PO-GP-UCBは、ランダムに投影されたプライバシー保護済みデータに適用されても、標準的なGP-UCBと漸近的に同程度のレグレットバウンドを達成する。
• ランダムプロジェクションに基づく変換により、入力間のペアワイズ距離が保持され、GP-UCBに必要なカーネル構造が概ね保たれる。
• 合成データおよび実世界のデータセットを用いた実験的評価により、PO-GP-UCBが非プライベートなGP-UCBと同等の最適化性能を維持することが示された。
• アルゴリズムは設計上、微分プライバシーを満たしており、ランダムプロジェクションが個々のデータポイントに関する推測を制限するプライバシー機構として機能する。
• 理論的分析により、変換後においても逆共分散行列の最小固有値が有界に保たれることを確認し、安定なGP推論を支持する。
• 医療記録分析、ローンリスク評価、不動産価格最適化など、プライバシーが極めて重要な実世界のシナリオに適用可能である。