[論文レビュー] Locally Private Learning without Interaction Requires Separation

Amit Daniely, Vitaly Feldman|arXiv (Cornell University)|Sep 24, 2018

Privacy-Preserving Technologies in Data被引用数 4

ひとこと要約

この論文は、分布に依存しないPACクラスの非インタラクティブで局所的プライバシーを満たす学習が、クラスのマージン複雑さが多項式的に小さい場合を除き、指数的サンプル複雑性を必要とするということを確立している。線形分離器や意思決定リスト—マージン複雑さが低い自然に出現するクラス—に対しても、非インタラクティブに学習するには依然として指数的多くのサンプルが必要であることが示され、自然な問題におけるインタラクティブと非インタラクティブLDP学習の間で初めて指数的分離が確立された。

ABSTRACT

We consider learning under the constraint of local differential privacy (LDP). For many learning problems known efficient algorithms in this model require many rounds of communication between the server and the clients holding the data points. Yet multi-round protocols are prohibitively slow in practice due to network latency and, as a result, currently deployed large-scale systems are limited to a single round. Despite significant research interest, very little is known about which learning problems can be solved by such non-interactive systems. The only lower bound we are aware of is for PAC learning an artificial class of functions with respect to a uniform distribution (Kasiviswanathan et al. 2011). We show that the margin complexity of a class of Boolean functions is a lower bound on the complexity of any non-interactive LDP algorithm for distribution-independent PAC learning of the class. In particular, the classes of linear separators and decision lists require exponential number of samples to learn non-interactively even though they can be learned in polynomial time by an interactive LDP algorithm. This gives the first example of a natural problem that is significantly harder to solve without interaction and also resolves an open problem of Kasiviswanathan et al. (2011). We complement this lower bound with a new efficient learning algorithm whose complexity is polynomial in the margin complexity of the class. Our algorithm is non-interactive on labeled samples but still needs interactive access to unlabeled samples. All of our results also apply to the statistical query model and any model in which the number of bits communicated about each data point is constrained.

研究の動機と目的

• 分布に依存しないPAC学習における非インタラクティブで局所的プライバシー（LDP）学習の根本的限界を特定すること。
• 従来の研究では、一様分布下での人工的で非自然な関数クラスに対してのみ指数的下界が示されたが、そのギャップを埋めること。
• マージン複雑さと非インタラクティブLDP学習のサンプル複雑さの間のタイトな関係を確立すること。
• [KLNRS11]が提起した未解決問題を解き、線形分離器や意思決定リストといった自然なクラスが非インタラクティブに学習する際に指数的に難しいことを示すこと。
• 下界を統計的クエリ（SQ）モデルや通信量が制限されたプロトコルといった関連モデルに拡張すること。

提案手法

• ブール関数クラスの主要な複雑さ測度としてマージン複雑さを導入し、線形埋め込みによる達成可能な最大マージンの逆数として定義する。
• 分布に依存しないPAC学習における任意の非インタラクティブLDPアルゴリズムが、クラスのマージン複雑さに関して指数的サンプル複雑性を必要とすることを証明する。
• 統計的クエリ（SQ）モデルへの還元を用い、非インタラクティブLDPアルゴリズムが非適応的SQアルゴリズムによってシミュレート可能であることを示す。
• 通信複雑さと学習理論の結果を活用して、既知のSQ下界をマージン複雑さ測度に適用する。
• マージン複雑さに関して多項式的サンプル複雑性を持つ新しい非インタラクティブLDP学習アルゴリズムを構築し、下界のタイトさを示す。
• 通信量が制限されたモデルにも結果を拡張し、各サンプルが最大ℓビットで通信される場合にも同様の下界が成り立つことを示す。

実験結果

リサーチクエスチョン

• RQ1 非インタラクティブLDPアルゴリズムは、線形分離器や意思決定リストといった自然なクラスを、分布に依存しないPAC設定で効率的に学習できるか？
• RQ2 マージン複雑さは、LDPおよび関連モデルにおける非インタラクティブ学習の根本的障壁であるか？
• RQ3 相互作用の欠如が、LDPモデルにおける自然な学習問題において指数的サンプル複雑性のギャップを生じさせるか？
• RQ4 クラスのマージン複雑さを用いて、LDPおよびSQモデルにおける非インタラクティブ学習のサンプル複雑さを特徴づけられるか？
• RQ5 特にハイフーフェースのようなクラスに関して、LDP学習におけるラウンド数とサンプル複雑さのトレードオフは何か？

主な発見

• ブール関数クラスのマージン複雑さは、分布に依存しないPAC学習における任意の非インタラクティブLDPアルゴリズムのサンプル複雑さの下界である。
• マージン複雑さが多項式的に有界な線形分離器や意思決定リストは、LDPモデルにおいて非インタラクティブに学習するにあたり、依然として指数的多くのサンプルを必要とする。
• これは、自然な学習問題におけるインタラクティブと非インタラクティブLDPプロトコルのパワーの間で初めて指数的分離を確立した。
• 下界は統計的クエリ（SQ）モデルおよび通信量が制限されたモデル（各データポイントが最大ℓビットで通信される場合）に拡張可能である。
• マージン複雑さに関して多項式的サンプル複雑性を持つ新しい非インタラクティブLDP学習アルゴリズムが構築され、下界のタイトさが示された。
• 結果から、クラスCのラベル非適応的ℓ通信量制限付きアルゴリズムが、PAC学習に於いて少なくともΩ(MC(C)^{2/3}/2^ℓ)個のサンプルを必要とすることが示唆される。ここでMC(C)はCのマージン複雑さである。