[论文解读] Communication Efficient Distributed Agnostic Boosting

Shang-Tse Chen, Maria-Florina Balcan+1 more|arXiv (Cornell University)|Jun 21, 2015

Face and Expression Recognition参考文献 13被引用 6

一句话总结

本文提出了一种通信高效的分布式提升算法，用于对抗性学习，兼具计算高效性和对任意噪声的鲁棒性。通过适配一种对数迭代的对抗性提升框架，该方法在保持强误差保证的同时实现了最优通信复杂度，在大规模真实世界和合成数据集的噪声分布式设置下优于先前方法。

ABSTRACT

We consider the problem of learning from distributed data in the agnostic setting, i.e., in the presence of arbitrary forms of noise. Our main contribution is a general distributed boosting-based procedure for learning an arbitrary concept space, that is simultaneously noise tolerant, communication efficient, and computationally efficient. This improves significantly over prior works that were either communication efficient only in noise-free scenarios or computationally prohibitive. Empirical results on large synthetic and real-world datasets demonstrate the effectiveness and scalability of the proposed approach.

研究动机与目标

• 为解决对抗性设置下的分布式学习挑战，其中数据本质上在不同源之间分区，且可能包含任意噪声。
• 开发一种同时具备通信高效、计算高效和抗噪声能力的分布式学习算法——超越以往仅在无噪声环境下通信高效或计算上不可行的方法。
• 通过降低通信成本并维持对抗性数据分区下的强泛化误差界，实现可扩展且实用的分布式学习。
• 证明在分布式提升框架中使用集中式弱学习器的可行性和有效性，从而简化各类概念类别的算法设计。

提出的方法

• 采用具有 O(log(1/ε)) 次迭代的集中式对抗性提升算法，确保在误差参数 ε 上的对数通信复杂度。
• 采用一种迭代学习弱假设的提升框架，其中每个弱学习器在中心节点重加权的数据分布上运行，而非分布式方式。
• 使用一种通信高效的协议，每轮仅从每台机器向中心节点传输固定数量的样本，且与 ε 无关。
• 利用一种特定的提升算法（SmoothBoost 变体），其已知具有 O(log(1/ε)) 次迭代次数和在对抗性设置下的强误差界，从而实现低通信开销。
• 设计一种分布式协议，其中中心节点从每个节点聚合最少信息（如加权样本或梯度）以更新全局假设，最大限度减少数据传输。
• 支持与各种弱学习器（包括逻辑回归或其他模型）的灵活集成，使算法可适应不同概念类，而无需重新设计通信协议。

实验结果

研究问题

• RQ1 在对抗性学习设置下，能否使分布式提升算法同时实现通信高效和抗噪声？
• RQ2 是否可能在保持强泛化误差界的同时，实现通信复杂度对 1/ε 的对数级别？
• RQ3 基于提升的方法能否在计算上高效且可扩展至具有高维特征的大规模分布式数据集？
• RQ4 在不同噪声水平下，所提算法在误差率和通信成本方面与现有分布式学习方法相比表现如何？

主要发现

• 在含 1% 噪声的合成数据集上，所提的 Dist.SmoothBoost 实现了 13.38% 的误差率，显著优于 Dist.AdaBoost（25.97%）和 Liblinear（干净数据上为 0.00%，但在 10% 噪声下升至 37.67%）。
• 在高噪声设置（10%）下，Dist.SmoothBoost 实现了 27.07% 的误差率，优于 Liblinear（37.67%）和 Dist.AdaBoost（28.04%），展现出更优的抗噪鲁棒性。
• 在真实世界数据集上，Dist.SmoothBoost 在 5 个数据集中的 3 个（Adult、Ijcnn1、Yahoo）实现了最低误差率，在其余两个（Cod-RNA、Covtype）上也表现具有竞争力。
• 在最大数据集（Yahoo，325 万样本）上，该算法在 4 秒内完成，通信成本仅与特征维度 d 相关，与样本数量无关。
• 运行时间虽高于 Liblinear（如 Yahoo 上为 3.79s vs. 1.37s），但通信成本始终保持最低且与数据规模无关，适用于高维特征的大数据场景。
• 该方法实现了每轮 O(log(1/ε)) 的通信复杂度，与分布式学习中已知的最佳理论界一致，同时在对抗性设置下维持了 O(opt(H)) + ε 的误差保证。