[論文レビュー] Empirical Risk Minimization in the Non-interactive Local Model of Differential Privacy

Di Wang, Marco Gaboardi+2 more|arXiv (Cornell University)|Nov 11, 2020

Privacy-Preserving Technologies in Data被引用数 4

ひとこと要約

本稿では、高次元設定における経験的リスク最小化（ERM）のための非インタラクティブで効率的な局所的微分プライバシー（LDP）アルゴリズムを提案する。滑らかな損失関数に対してベルシュタイン多項式近似を、一般化線形モデルに対して内積の多項式近似を用いることで、誤差パラメータαに関して多項式、次元pに関して線形のサンプル複雑性を達成し、pに関して指数関数的依存の既存の制限を克服した。

ABSTRACT

In this paper, we study the Empirical Risk Minimization (ERM) problem in the non-interactive Local Differential Privacy (LDP) model. Previous research on this problem \citep{smith2017interaction} indicates that the sample complexity, to achieve error $α$, needs to be exponentially depending on the dimensionality $p$ for general loss functions. In this paper, we make two attempts to resolve this issue by investigating conditions on the loss functions that allow us to remove such a limit. In our first attempt, we show that if the loss function is $(\infty, T)$-smooth, by using the Bernstein polynomial approximation we can avoid the exponential dependency in the term of $α$. We then propose player-efficient algorithms with $1$-bit communication complexity and $O(1)$ computation cost for each player. The error bound of these algorithms is asymptotically the same as the original one. With some additional assumptions, we also give an algorithm which is more efficient for the server. In our second attempt, we show that for any $1$-Lipschitz generalized linear convex loss function, there is an $(ε, δ)$-LDP algorithm whose sample complexity for achieving error $α$ is only linear in the dimensionality $p$. Our results use a polynomial of inner product approximation technique. Finally, motivated by the idea of using polynomial approximation and based on different types of polynomial approximations, we propose (efficient) non-interactive locally differentially private algorithms for learning the set of k-way marginal queries and the set of smooth queries.

研究の動機と目的

• 非インタラクティブな局所的微分プライバシー（LDP）モデルにおける、従来のERM手法が直面する次元pに関する指数的サンプル複雑性を解消すること。
• 一般損失関数では、誤差αを達成するためのサンプル複雑性がpに関して指数的になるという根本的制限を克服すること。
• 1ビット通信と各ユーザーのO(1)計算量を満たす、プライバシーと正確性を保つ効率的なプロトコルの設計。
• 多項式近似技術を用いて、k方向マージナルクエリおよび滑らかくないクエリをLDP下で拡張すること。
• 経験的リスク最小化および母集団リスク最小化の両方におけるサンプル複雑性と正確性の理論的保証を提供すること。

提案手法

• 滑らかさが(∞,T)である損失関数に対してベルシュタイン多項式近似を用い、サンプル複雑性をαに関して指数的から多項式的へと削減する。
• 1リプシッツの一般化線形凸損失関数に対して内積の多項式近似を適用し、次元pに関して線形の依存関係を達成する。
• 超立方体上での(h,T)-滑らかさ関数に対して三角多項式近似を用い、滑らかなクエリを処理する。
• 各ユーザーが1ビットの情報のみを送信する非インタラクティブプロトコルを設計し、確率的応答または類似のメカニズムを用いる。
• モーメント推定と係数回復技術を用い、サーバーがノイズの多い要約からクエリの回答を再構築できるようにする。
• 集中限界と誤差伝播解析を統合し、高確率で(α,β)-正確性を保証する。

実験結果

リサーチクエスチョン

• RQ1 非インタラクティブLDPにおけるERMで、次元pに関する指数的依存を、特定の損失関数クラスに対して除去できるか？
• RQ2 どの損失関数の条件下で、誤差パラメータαに関して多項式的サンプル複雑性を達成しつつプライバシーを保てるか？
• RQ3 非インタラクティブLDP下で、ユーザーおよびサーバー両方の1ビット通信とO(1)計算量を満たす効率的プロトコルを設計できるか？
• RQ4 多項式近似フレームワークをk方向マージナルや滑らかなクエリなどの他のクエリクラスに拡張できるか？
• RQ5 一般化線形モデルにおけるLDP下で、プライバシーのパrameter ε, δとサンプル複雑性のトレードオフは何か？

主な発見

• 滑らかさが(∞,T)である損失関数に対して、α誤差を達成するためのサンプル複雑性は、α^{-(p+1)}からある定数cに関してα^{-c}へと削減され、pに関する指数的依存が解消された。
• ベルシュタイン多項式近似フレームワーク下で、(α,β)-正確性を達成するサンプル複雑性はn = O(ε^{-2} log(1/β) α^{-c})（あるcに関して）となる。
• 1リプシッツの一般化線形凸損失関数に対しては、サンプル複雑性はpに関して線形であり、pに関しては指数的ではなくεおよびδに関して指数的である。
• 1ビット通信と各ユーザーのO(1)計算量を満たす効率的プロトコルが設計され、プライバシーと正確性が保たれた。
• C^h_Tにおける滑らかなクエリに対して、サンプル複雑性はO(ε^{-2} α^{-(5p+2h)/h} polylog(1/β))であり、クエリ回答時間はÕ((√n ε)^{(4p+4)/(5p+2h) + ...})である。
• フレームワークはk方向マージナルおよび滑らかなクエリに拡張可能であり、αおよびpに関して多項式的サンプル複雑性を達成する非インタラクティブLDPアルゴリズムとして初めての実装を提供した。