[論文レビュー] Noninteractive Locally Private Learning of Linear Models via Polynomial Approximations

Di Wang, Adam Smith+1 more|arXiv (Cornell University)|Dec 17, 2018

Privacy-Preserving Technologies in Data被引用数 13

ひとこと要約

本稿では、内積の多項式近似を用いた非インタラクティブな局所的微分プライバシー（LDP）アルゴリズムを提案し、hinge損失やロジスティック回帰などの一般化線形損失において、次元 $p$ に対して線形の標本複雑性を達成する。これは、滑らかでない損失関数に対して、$p$ に最適な依存関係を達成する初めての結果である。

ABSTRACT

Minimizing a convex risk function is the main step in many basic learning algorithms. We study protocols for convex optimization which provably leak very little about the individual data points that constitute the loss function. Specifically, we consider differentially private algorithms that operate in the local model, where each data record is stored on a separate user device and randomization is performed locally by those devices. We give new protocols for \emph{noninteractive} LDP convex optimization---i.e., protocols that require only a single randomized report from each user to an untrusted aggregator. We study our algorithms' performance with respect to expected loss---either over the data set at hand (empirical risk) or a larger population from which our data set is assumed to be drawn. Our error bounds depend on the form of individuals' contribution to the expected loss. For the case of \emph{generalized linear losses} (such as hinge and logistic losses), we give an LDP algorithm whose sample complexity is only linear in the dimensionality $p$ and quasipolynomial in other terms (the privacy parameters $ε$ and $δ$, and the desired excess risk $α$). This is the first algorithm for nonsmooth losses with sub-exponential dependence on $p$. For the Euclidean median problem, where the loss is given by the Euclidean distance to a given data point, we give a protocol whose sample complexity grows quasipolynomially in $p$. This is the first protocol with sub-exponential dependence on $p$ for a loss that is not a generalized linear loss . Our result for the hinge loss is based on a technique, dubbed polynomial of inner product approximation, which may be applicable to other problems. Our results for generalized linear losses and the Euclidean median are based on new reductions to the case of hinge loss.

研究の動機と目的

• 非インタラクティブな局所的微分プライバシー（LDP）モデルにおける経験的リスクおよび母集団リスクの最小化という課題に取り組む。
• 繰り返しのラウンドを必要としたり、標本複雑性が著しく悪いといった、従来のLDPプロトコルの限界を克服する。
• 強力なプライバシー保証を維持しながら、効率的かつ非インタラクティブに線形モデルを学習できる手法を開発する。
• 滑らかでないケース（hinge損失など）を含む一般化線形損失に対して、最適またはほぼ最適な標本複雑性を達成する。
• LDP設定下で、広いクラスの凸かつ1-Lipschitz損失関数に適用可能な一般枠組みを提供する。

提案手法

• 損失関数 $f(y\langle w,x\rangle)$ を低次の多項式で近似する新しい技術「内積の多項式近似」を導入する。
• 元の損失関数 $f(\theta)$ を誤差 $O(\beta)$ で近似する補助関数 $F_\beta(\theta)$ を構築し、$O(1/\beta)$-スムーズかつ $O(1)$-Lipschitzに保つ。
• ランダムレスポンスとノイズ注入を用いて、各ユーザーから内積 $\langle w,x_i \rangle$ の多項式モーメントをプライバシーを保って計算する。
• 関数近似を介して一般化線形損失をhinge損失のケースに還元する手法を適用し、多項式近似フレームワークの再利用を可能にする。
• ユーザーがアグリゲーターに1回のランダム化レポートを送信する非インタラクティブプロトコルを設計し、反復的通信を回避する。
• 集中不等式と分散バウンドを活用し、補助関数の推定勾配が高確率で真の勾配に収束することを保証する。

実験結果

リサーチクエスチョン

• RQ1 滑らかでない損失関数に対して、次元 $p$ に対して線形の標本複雑性を達成する非インタラクティブLDPプロトコルを設計できるか？
• RQ2 内積の多項式近似は、局所モデル下で一般化線形モデルの効率的かつプライベートな推定を可能にするか？
• RQ3 一般化線形損失の標本複雑性を、微分プライバシーを維持したまま次元 $p$ に対して線形に改善できるか？
• RQ4 非インタラクティブLDPプロトコルにおいて、プライバシーのパrameter（$\epsilon, \delta$）、過剰リスク（$\alpha$）、および標本複雑性の間のトレードオフは何か？
• RQ5 本フレームワークを、$f(y\langle w,x\rangle)$ の形をとらない損失関数（例：線形回帰や$\ell_1$回帰）へ拡張することは可能か？

主な発見

• 提案アルゴリズムは、一般化線形損失に対して、次元 $p$ に線形に依存する標本複雑性 $\tilde{O}(p \cdot \epsilon^{-4d-4} \cdot d^{6d} C^d)$ を達成する。
• hinge損失の場合、過剰リスク $\alpha$ を達成するための標本複雑性は $p$ に対して線形であり、$\epsilon$、$\delta$、$\alpha$ に対して指数的である。
• 主なイノベーションである「内積の多項式近似」により、指数的数のグリッドポイントを必要とせずに非インタラクティブプロトコルを実現できる。
• 関数近似を介して、一般化線形モデルのプライベートなERM問題をhinge損失のケースに還元する。
• プライベート勾配推定器の分散は $\tilde{O}(d^{6d} C^d p / \epsilon^{4d+4})$ でバウンドされ、ややきつい仮定のもとで収束を保証する。
• 本フレームワークは、非インタラクティブLDPモデル下で滑らかでない一般化線形損失に対して、次元 $p$ に線形の標本複雑性を達成する最初のものである。