[論文レビュー] Privacy Aware Learning

John C. Duchi, Michael I. Jordan+1 more|arXiv (Cornell University)|Oct 7, 2012

Privacy-Preserving Technologies in Data参考文献 50被引用数 64

ひとこと要約

本稿は、学習者に対して局所的プライバシー機構を用いてデータを保護するプライバシーに配慮した学習フレームワークを導入し、プライバシー（微分プライバシーのパラメータで測定）と統計的推定の有効性の間の鋭いトレードオフを確立する。リスク最小化の収束速度に関するタイトな上界と下界を導出し、$\alpha$-微分プライバシー下で推定誤差が $\Theta(\sqrt{d}/\alpha)$ のスケーリングを示し、プライバシーと学習効率の間の根本的なトレードオフを明らかにする。

ABSTRACT

We study statistical risk minimization problems under a privacy model in which the data is kept confidential even from the learner. In this local privacy framework, we establish sharp upper and lower bounds on the convergence rates of statistical estimation procedures. As a consequence, we exhibit a precise tradeoff between the amount of privacy the data preserves and the utility, as measured by convergence rate, of any statistical estimator or learning procedure.

研究の動機と目的

• 学習システムにおけるデータプライバシーと統計的推定有効性の間のトレードオフを形式化すること。
• データが学習者に到達する前に摂動される局所的プライバシー機構の影響が、統計推定量の収束速度に与える影響を分析すること。
• プライバシー制約下での推定誤差について、ミニマックス下界と一致する上界を導出すること。
• 微分プライバシーのパラメータ $\alpha$ によるプライバシー水準が、リスク最小化の収束速度に与える影響を定量化すること。
• 凸損失関数と最適化に基づく手法を用いて、プライバシーに配慮した学習の意思決定理論的基盤を提供すること。

提案手法

• フレームワークは、コンpactな凸パラメータ集合 $\Theta \subset \mathbb{R}^d$ 上での凸損失関数 $\ell$ を用いて統計的リスク最小化として学習をモデル化する。
• 生のデータ $X_i$ を観測する代わりに、学習者はプライバシーを誘発するチャネル $Q$ を通じて生成された摂動済みバージョン $Z_i$ のみにアクセスする。
• 本稿は、出力推定量 $\widehat{\theta}_n$ に対して $\alpha$-微分プライバシーを適用する局所的プライバシーモデルを採用する。
• 正則化リスク最小化と組み合わせたミラー降下法を適用し、部分勾配の $\infty$-ノルム $M_\infty$ に基づいて収束境界を導出する。
• プライバシー機構から導かれる制約の下で $t$（$M_\infty$ に関連する）を下界付けるために線形計画法を用い、$M_\infty \leq \sqrt{d}/(c\alpha)$ の境界を導出する。
• 主な技術的ステップは、固定された $x$ に対する内積が正である $z \in \{-1,1\}^d$ の和を、組合せ的恒等式と二項係数のスターリング近似を用いて分析することである。

実験結果

リサーチクエスチョン

• RQ1 微分プライバシーのパラメータ $\alpha$ で測定されるプライバシーと、統計的推定量の収束速度との間の根本的トレードオフは何か？
• RQ2 局所的プライバシーモデル下で、プライバシーに配慮した学習における推定誤差について、タイトな上界と下界を確立できるか？
• RQ3 パrameter空間の次元 $d$ は、リスク最小化におけるプライバシー・ユーティリティのトレードオフにどのように影響するか？
• RQ4 データが学習者に見える前に摂動される場合、$\alpha$-微分プライバシー下で推定量の最適収束速度は何か？
• RQ5 ミニマックス分析を用いて、特定の学習アルゴリズムに依存せずにプライバシー・ユーティリティのトレードオフを特徴づけられるか？

主な発見

• リスク $R(\widehat{\theta}_n)$ の最適リスクへの収束速度は $O(\sqrt{d}/\alpha)$ で有界であり、これは下界と一致しており、鋭いトレードオフを確立する。
• 分析により、部分勾配の $\infty$-ノルム $M_\infty$ が $O(\sqrt{d}/\alpha)$ で上界付きであり、これはミラー降下法の収束速度を直接制御する。
• 奇数の $d$ に対して、和 $\sum_{z:\langle z,x\rangle>0} z = \binom{d-1}{(d-1)/2} x$ は、$M_\infty$ の境界を導出する際に重要な恒等式である。
• スターリングの近似を用いることで、プライバシーチャネルにおける差 $q_+ - q_-$ が $\Omega(\alpha / \sqrt{d})$ であることが示され、$\sqrt{d}/\alpha$ のスケーリングが得られる。
• 推定誤差の下界はミラー降下法による上界と一致しており、トレードオフのタイトネスが証明される。
• 各データポイントが学習前に摂動され、最終的な推定量に対して微分プライバシーが適用される局所的プライバシーモデルのもとで、結果は成り立つ。