[论文解读] Distributed Robust Learning

Jiashi Feng, Huan Xu+1 more|arXiv (Cornell University)|Sep 21, 2014

Sparse and Compressive Sensing Techniques参考文献 20被引用 32

一句话总结

本文提出分布式鲁棒学习（DRL），一种通过将数据分布在k台机器上、在每台机器上独立应用基础鲁棒学习算法并利用几何中位数聚合结果，从而在大规模污染数据上加速鲁棒统计学习的框架。DRL保持了集中式方法的鲁棒性，在对抗性节点故障下仍能实现至少λ*/2的崩溃点，相较于在延迟和通信错误下表现更差的简单平均法，其鲁棒性和可靠性均更优。

ABSTRACT

We propose a framework for distributed robust statistical learning on {\em big contaminated data}. The Distributed Robust Learning (DRL) framework can reduce the computational time of traditional robust learning methods by several orders of magnitude. We analyze the robustness property of DRL, showing that DRL not only preserves the robustness of the base robust learning method, but also tolerates contaminations on a constant fraction of results from computing nodes (node failures). More precisely, even in presence of the most adversarial outlier distribution over computing nodes, DRL still achieves a breakdown point of at least $ λ^*/2 $, where $ λ^* $ is the break down point of corresponding centralized algorithm. This is in stark contrast with naive division-and-averaging implementation, which may reduce the breakdown point by a factor of $ k $ when $ k $ computing nodes are used. We then specialize the DRL framework for two concrete cases: distributed robust principal component analysis and distributed robust regression. We demonstrate the efficiency and the robustness advantages of DRL through comprehensive simulations and predicting image tags on a large-scale image set.

研究动机与目标

• 解决传统鲁棒学习方法在存在严重异常值的大数据场景下面临的可扩展性与鲁棒性挑战。
• 设计一种分布式框架，在显著降低计算时间和内存使用的同时保持鲁棒性。
• 确保在分布式环境中对节点故障、延迟和通信错误具备弹性。
• 证明DRL相较于简单划分与平均策略在鲁棒性方面具有优势。
• 在真实世界大规模数据（如用户提供的噪声标签图像标注）上验证该框架。

提出的方法

• 将数据均匀分配至k台计算节点，使每台节点的计算负载和内存使用降低为原来的1/k。
• 在每台节点上独立应用基础鲁棒学习算法（如RPCA或RLR）以生成本地估计。
• 使用几何中位数而非简单平均来聚合本地估计，以保持鲁棒性。
• 确保通信开销最小——仅需k × s，其中s为每个参数估计的大小。
• 该框架与任何现有鲁棒学习方法兼容，支持即插即用式集成。
• 几何中位数聚合确保即使有恒定比例的节点被攻破或返回错误结果，系统仍保持鲁棒。

实验结果

研究问题

• RQ1 在数据被恶意污染和节点故障的情况下，分布式计算能否保持集中式鲁棒学习算法的鲁棒性？
• RQ2 在存在被污染节点的情况下，分布式框架的崩溃点与简单平均法相比如何？
• RQ3 与平均法相比，几何中位数聚合在应对机器延迟和通信错误方面能提升多少韧性？
• RQ4 DRL框架能否在大规模数据上实现显著加速，同时保持低误差和高鲁棒性？
• RQ5 在真实世界噪声数据集（如Flickr图像标签预测任务）中，DRL是否优于划分与平均策略？

主要发现

• 即使在恒定比例节点结果被恶意污染的情况下，DRL仍能保持至少λ*/2的崩溃点，其中λ*为集中式算法的崩溃点。
• 简单划分与平均法的崩溃点会降低为原来的1/k，使其极易受节点故障影响，而DRL保持鲁棒。
• 在模拟实验中，DRL-RPCA与DRL-RLR在异常值比例超过0.5时仍能保持强劲性能，而基于平均的方法则急剧崩溃。
• 在机器延迟场景下（一半机器先完成），DRL的估计误差为0.26 ± 0.01，而平均法为0.42 ± 0.01，表明DRL具有更强的韧性。
• 在通信错误场景下（10%的估计中10%的元素被翻转），DRL误差为0.31 ± 0.03，而平均法为0.78 ± 0.02，证实了其鲁棒性。
• 在包含1亿张图像的Flickr大规模图像数据集上，DRL-LR取得0.56 ± 0.02的MAP，优于划分平均LR（0.59 ± 0.01），且计算开销几乎可忽略（3,002 ± 14秒 vs. 2,957 ± 5秒）。