[论文解读] Distributed Learning, Communication Complexity and Privacy

Maria-Florina Balcan, Avrim Blum+2 more|arXiv (Cornell University)|Apr 16, 2012

Privacy-Preserving Technologies in Data参考文献 22被引用 113

一句话总结

本文研究了分布式PAC学习中的通信复杂度，表明教学维数和误分界等概念对通信需求具有关键影响。针对决策列表、线性分类器和奇偶函数等概念类，提出了通信高效的算法，分别实现了O(d log d)和O(d)比特的通信复杂度，同时通过统计查询实现隐私保护，且无需增加通信开销。

ABSTRACT

We consider the problem of PAC-learning from distributed data and analyze fundamental communication complexity questions involved. We provide general upper and lower bounds on the amount of communication needed to learn well, showing that in addition to VC-dimension and covering number, quantities such as the teaching-dimension and mistake-bound of a class play an important role. We also present tight results for a number of common concept classes including conjunctions, parity functions, and decision lists. For linear separators, we show that for non-concentrated distributions, we can use a version of the Perceptron algorithm to learn with much less communication than the number of updates given by the usual margin bound. We also show how boosting can be performed in a generic manner in the distributed setting to achieve communication with only logarithmic dependence on 1/epsilon for any concept class, and demonstrate how recent work on agnostic learning from class-conditional queries can be used to achieve low communication in agnostic settings as well. We additionally present an analysis of privacy, considering both differential privacy and a notion of distributional privacy that is especially appealing in this context.

研究动机与目标

• 理解当数据分布在多个参与方便，PAC学习所需的通信复杂度的根本限制。
• 识别除VC维之外的关键概念类属性，如教学维数和误分界，这些属性影响通信需求。
• 为特定概念类（包括合取式、决策列表和线性分类器）开发通信高效的机器学习算法。
• 在分布式环境中实现隐私保护学习，且不增加额外通信成本。
• 证明提升（boosting）和鲁棒学习（agnostic learning）可在通信复杂度对1/ϵ呈对数依赖关系的前提下完成。

提出的方法

• 使用统计查询（SQ）框架模拟实体与其本地数据之间的交互，实现隐私保护计算。
• 应用改进的感知机算法处理线性分类器，通过利用非集中分布，将通信轮数减少至O(√(d log(d/ǫ))/ǫ²)。
• 采用具有对数依赖于1/ϵ的分布式提升方法，适用于任意概念类，从而最小化总通信量。
• 通过在统计查询中加入拉普拉斯噪声，引入分布隐私，确保每个实体仅揭示其数据分布的固有信息。
• 利用Rivest和Sloan（1988）提出的可靠-有用框架，证明奇偶函数的非恰当学习仅需O(d)比特通信，远低于恰当学习所需的Ω(d²)下界。
• 采用最小化假设交换：中心节点计算覆盖所有本地假设的最小假设，确保通信量和误差界均较低。

实验结果

研究问题

• RQ1 在分布式环境中，学习一个概念类的根本通信复杂度是多少？
• RQ2 概念类属性（如教学维数和误分界）如何影响通信需求？
• RQ3 是否可在分布式环境中实现通信复杂度对1/ϵ呈对数依赖关系的提升？
• RQ4 是否可在不增加通信成本的前提下实现分布式学习中的隐私保护？
• RQ5 在非集中分布下，学习特定类（如决策列表、奇偶函数和线性分类器）的通信成本是多少？

主要发现

• 对于{0,1}^d上的决策列表，通信复杂度为Θ(d log d)比特，该界是紧致的。
• 对于奇偶函数，非恰当学习仅需O(d)比特通信，相比恰当学习的Ω(d²)下界有显著改进。
• 在非集中分布下，线性分类器的通信可减少至O(√(d log(d/ǫ))/ǫ²)轮，每轮仅发送一个假设向量，远低于标准感知机的O(d/ǫ²)更新次数。
• 分布式提升可实现误差O(opt(H)) + ǫ，且通信复杂度对1/ϵ仅呈对数依赖，适用于任意概念类。
• 通过适配Balcan和Hanneke（2012）的结果，鲁棒学习可实现O(log(1/ϵ))的通信复杂度对1/ϵ的对数依赖。
• 当使用统计查询时，可通过样本量O(M² log³(M/δ)/(α²τ²))实现分布隐私，且无需增加通信开销。