[論文レビュー] Learning in a Large Function Space: Privacy-Preserving Mechanisms for SVM Learning

Benjamin I. P. Rubinstein, Peter L. Bartlett+2 more|ArXiv.org|Nov 30, 2009

Privacy-Preserving Technologies in Data被引用数 51

ひとこと要約

本稿は、無限次元カーネルを伴う大きな関数空間におけるサポートベクターマシン（SVM）学習のための効率的で微分プライバシーを満たすメカニズムを提案する。ランダムな再生核ヒルベルト空間（RKHS）を用いることで、無限次元カーネルであっても分類器の有限符号化を可能にする。正則化された経験的リスク最小化の滑らかさを用いて、高確率でのポイントワイズの有効性を確立し、アルゴリズムの安定性を通じて微分プライバシーを証明する。また、高い精度を持つSVMメカニズムが、小さなプライバシーパラメータに対して強いプライバシーを達成できないことを示す下界を導出する。

ABSTRACT

Several recent studies in privacy-preserving learning have considered the trade-off between utility or risk and the level of differential privacy guaranteed by mechanisms for statistical query processing. In this paper we study this trade-off in private Support Vector Machine (SVM) learning. We present two efficient mechanisms, one for the case of finite-dimensional feature mappings and one for potentially infinite-dimensional feature mappings with translation-invariant kernels. For the case of translation-invariant kernels, the proposed mechanism minimizes regularized empirical risk in a random Reproducing Kernel Hilbert Space whose kernel uniformly approximates the desired kernel with high probability. This technique, borrowed from large-scale learning, allows the mechanism to respond with a finite encoding of the classifier, even when the function class is of infinite VC dimension. Differential privacy is established using a proof technique from algorithmic stability. Utility--the mechanism's response function is pointwise epsilon-close to non-private SVM with probability 1-delta--is proven by appealing to the smoothness of regularized empirical risk minimization with respect to small perturbations to the feature mapping. We conclude with a lower bound on the optimal differential privacy of the SVM. This negative result states that for any delta, no mechanism can be simultaneously (epsilon,delta)-useful and beta-differentially private for small epsilon and small beta.

研究の動機と目的

• 大きなまたは無限次元の関数空間におけるSVM学習において、有効性と微分プライバシーの両立を達成する課題に対処すること。
• 最大マージン分類器をプライバシーを保ちつつ高精度に学習できる、効率的で実用的なメカニズムを開発すること。
• 翻訳不変カーネルを用いたSVMの文脈において、微分プライバシーと有効性の理論的保証を確立すること。
• ハングル損失SVMの最適な微分プライバシーの上界と下界を導出し、プライバシー・有効性トレードオフの本質的限界を明らかにすること。
• 複雑な関数空間を有する学習アルゴリズムのプライバシーを証明するうえで、アルゴリズムの安定性の役割を調査すること。

提案手法

• 目的のカーネルをフーリエ領域に写像し、ランダム特徴量をサンプリングすることで、ランダムなRKHSを構築し、高確率で元のカーネルを一様に近似する。
• ランダムRKHS上で正則化された経験的リスク最小化（RERM）を実行し、有限次元でプライバシーを保証する分類器表現を取得する。
• RERMのアルゴリズム的安定性を用いて微分プライバシーを証明し、訓練データの小さな変更が分類器関数に小さな変化をもたらすことを示す。
• RERMの応答が、高確率（1−δ）で非プライベートなSVM分類器とポイントワイズでϵ近傍にあることを示すことで、有効性を確立する。カーネルの摂動下でのRERMの滑らかさを活用する。
• 隣接するデータベースのパッキングを用いて、最適な微分プライバシーの下界を導出し、高い有効性は小さなβに対して制限されたプライバシーを意味することを示す。
• これらの手法を特にRBFカーネルとハングル損失SVMに適用し、カーネル分散σの関数としてのプライバシー損失の明示的下界を導出する。

実験結果

リサーチクエスチョン

• RQ1 無限次元関数空間におけるSVM学習のための効率的で微分プライバシーを満たすメカニズムをどのように設計できるか？
• RQ2 ハングル損失SVMに対して、任意の(ϵ, δ)-有用なメカニズムが達成可能な最適な微分プライバシーのレベルは何か？
• RQ3 強いプライバシー保証を犠牲にせずに、プライベートSVM学習で高い有効性を達成できるか？
• RQ4 カーネル摂動下での正則化された経験的リスク最小化の滑らかさは、プライベート学習における有効性にどのように寄与するか？
• RQ5 特に小さな分散をもつRBFカーネルに対して、プライベートSVM学習におけるプライバシー・有効性トレードオフの根本的限界は何か？

主な発見

• 翻訳不変カーネルに対して、提案されたメカニズムはランダムRKHSで学習することで、高確率で(ϵ, δ)-有効性を達成し、目的のカーネルを一様に近似する。
• 微分プライバシーは、グローバル感度ではなく、正則化された経験的リスク最小化のアルゴリズム的安定性を用いて確立され、プライベート学習における新たな証明技法を提供する。
• 有効性は、分類器の応答が高確率（1−δ）で非プライベートSVM分類器とポイントワイズでϵ近傍にあることを示すことによって証明される。
• ランダム特徴量近似を活用することで、関数空間のVC次元が無限大であっても、分類器の有限符号化が可能になる。
• 最適な微分プライバシーの下界は、任意のメカニズムが、小さなϵおよびβに対して同時に(ϵ, δ)-有用かつβ-微分プライバシー的でないことを示す。ある条件下で成立する。
• RBFカーネルを用いたハングル損失SVMに対して、最適な微分プライバシーはlog((1−δ)(N−1)/δ)で下界が与えられ、ここでN = ⌊2/(σ√(2 log 2))⌋である。これは、小さなσが高精度メカニズムに対して悪いプライバシー保証をもたらすことを示している。