[论文解读] Locally Private Learning without Interaction Requires Separation

Amit Daniely, Vitaly Feldman|arXiv (Cornell University)|Sep 24, 2018

Privacy-Preserving Technologies in Data被引用 4

一句话总结

本文证明，在分布无关的PAC学习框架下，除非某类函数具有多项式有界的边界复杂度，否则非交互式局部差分隐私学习（LDP）需要指数级样本复杂度。研究进一步表明，线性分类器和决策列表——这两类自然出现且边界复杂度较低的函数类——在非交互式设置下仍需指数级样本数量，从而首次在自然问题上建立了交互式与非交互式LDP学习之间的指数级差距。

ABSTRACT

We consider learning under the constraint of local differential privacy (LDP). For many learning problems known efficient algorithms in this model require many rounds of communication between the server and the clients holding the data points. Yet multi-round protocols are prohibitively slow in practice due to network latency and, as a result, currently deployed large-scale systems are limited to a single round. Despite significant research interest, very little is known about which learning problems can be solved by such non-interactive systems. The only lower bound we are aware of is for PAC learning an artificial class of functions with respect to a uniform distribution (Kasiviswanathan et al. 2011). We show that the margin complexity of a class of Boolean functions is a lower bound on the complexity of any non-interactive LDP algorithm for distribution-independent PAC learning of the class. In particular, the classes of linear separators and decision lists require exponential number of samples to learn non-interactively even though they can be learned in polynomial time by an interactive LDP algorithm. This gives the first example of a natural problem that is significantly harder to solve without interaction and also resolves an open problem of Kasiviswanathan et al. (2011). We complement this lower bound with a new efficient learning algorithm whose complexity is polynomial in the margin complexity of the class. Our algorithm is non-interactive on labeled samples but still needs interactive access to unlabeled samples. All of our results also apply to the statistical query model and any model in which the number of bits communicated about each data point is constrained.

研究动机与目标

• 识别非交互式局部差分隐私学习（LDP）在分布无关PAC学习中的基本限制。
• 弥补先前研究的不足，后者仅在均匀分布下对人工构造的非自然函数类证明了指数级下界。
• 建立边界复杂度与非交互式LDP学习样本复杂度之间的紧密联系。
• 通过证明线性分类器和决策列表等自然类在非交互式设置下比交互式设置难得多，解决[KLNRS11]提出的一个开放问题。
• 将下界结果扩展至相关模型，如统计查询（SQ）模型和有界通信协议。

提出的方法

• 引入边界复杂度作为布尔函数类的关键复杂度度量，定义为通过线性嵌入可实现的最大边界值的倒数。
• 证明任何用于分布无关PAC学习的非交互式LDP算法，其样本复杂度必须指数级依赖于该类的边界复杂度。
• 通过从统计查询（SQ）模型的归约，表明非交互式LDP算法可被非自适应SQ算法模拟。
• 将已知的SQ下界应用于边界复杂度度量，利用通信复杂度和学习理论中的结果。
• 构造一种新的非交互式LDP学习算法，其样本复杂度在边界复杂度上为多项式，从而证明该边界的紧致性。
• 将结果扩展至有界通信模型，表明当每个样本仅用最多ℓ比特传输时，相同的下界依然成立。

实验结果

研究问题

• RQ1 非交互式LDP算法能否在分布无关PAC设置下高效学习自然类，如线性分类器和决策列表？
• RQ2 边界复杂度是否是非交互式学习在LDP及相关模型中的根本障碍？
• RQ3 在LDP模型中，缺乏交互是否导致自然学习问题的样本复杂度出现指数级差距？
• RQ4 能否用类的边界复杂度来刻画非交互式学习在LDP和SQ模型中的样本复杂度？
• RQ5 在LDP学习中，轮数与样本复杂度之间存在怎样的权衡，特别是对于半空间类？

主要发现

• 布尔函数类的边界复杂度是非交互式LDP算法在分布无关PAC学习中样本复杂度的下界。
• 线性分类器和决策列表具有多项式有界的边界复杂度，但在LDP模型中非交互式学习仍需指数级样本数量。
• 这首次在自然学习问题上建立了交互式与非交互式LDP协议能力之间的指数级差距。
• 该下界可扩展至统计查询（SQ）模型，以及每个数据点仅用最多ℓ比特通信的有界通信模型。
• 构造了一种新的非交互式LDP学习算法，其样本复杂度在边界复杂度上为多项式，证明了边界的紧致性。
• 结果表明，任何针对类C的标签非自适应ℓ-通信有界算法，其样本数量至少为Ω(MC(C)^{2/3}/2^ℓ)，其中MC(C)为类C的边界复杂度。