[论文解读] Byzantine-Robust Learning on Heterogeneous Datasets via Resampling

Lie He, Sai Praneeth Karimireddy+1 more|arXiv (Cornell University)|May 4, 2021

Privacy-Preserving Technologies in Data参考文献 56被引用 24

一句话总结

该论文提出了一种通用重采样方案，以增强在异构数据设置下拜占庭鲁棒机器学习的性能，其中各工作者持有的数据非独立同分布（non-i.i.d.）。通过重采样本地数据以减少统计差异，该方法使现有鲁棒聚合算法即使在利用数据异构性发动针对性攻击的情况下，也能保持高性能。

ABSTRACT

In Byzantine-robust distributed optimization, a central server wants to train a machine learning model over data distributed across multiple workers. However, a fraction of these workers may deviate from the prescribed algorithm and send arbitrary messages to the server. While this problem has received significant attention recently, most current defenses assume that the workers have identical data distribution. For realistic cases when the data across workers are heterogeneous (non-iid), we design new attacks that circumvent these defenses leading to significant loss of performance. We then propose a universal resampling scheme that addresses data heterogeneity at a negligible computational cost. We theoretically and experimentally validate our approach, showing that combining resampling with existing robust algorithms is effective against challenging attacks.

研究动机与目标

• 解决在数据跨工作者非独立同分布（non-i.i.d.）这一常见现实场景下，拜占庭鲁棒学习防御的不足。
• 识别并展示利用数据异构性来绕过现有鲁棒聚合方法的新攻击方式。
• 设计一种轻量级、通用的重采样机制，以在不改变核心学习流程的前提下缓解工作者间数据分布的偏移。
• 通过最小化训练过程的修改，确保与现有鲁棒聚合算法的兼容性。
• 理论与实证验证表明，重采样显著提升了在对抗性条件下的模型鲁棒性与准确性。

提出的方法

• 提出一种通用重采样策略，通过重新加权或重采样每个工作者的本地训练数据，以减少其与全局数据分布之间的统计差异。
• 在本地模型更新前应用重采样方案，确保每个工作者的本地数据更能够代表全局数据分布。
• 将重采样步骤无缝集成到标准拜占庭鲁棒聚合框架（如Krum、Median、Trimmed Mean）中，而无需修改其核心聚合逻辑。
• 采用基于类别或特征频率的简单、与数据无关的重采样规则，以在最小计算开销下实现工作者间的数据平衡。
• 重采样过程在每个工作者上独立执行，且与底层模型架构或损失函数无关。
• 理论分析表明，重采样可降低数据异构性对模型收敛性和鲁棒性的影响，尤其是在拜占庭行为下。

实验结果

研究问题

• RQ1 当面对针对性攻击时，现有拜占庭鲁棒聚合算法在数据异构性条件下表现如何？
• RQ2 拜占庭工作者是否可利用数据异构性来破坏标准防御机制的鲁棒性？
• RQ3 通用重采样方案是否能提升异构且受拜占庭影响环境下的机器学习模型的鲁棒性与准确性？
• RQ4 重采样的计算成本是多少？其轻量化特性在不同数据与模型配置下是否依然成立？
• RQ5 重采样能否在不进行架构修改的前提下，与现有鲁棒聚合算法无缝集成？

主要发现

• 所提出的重采样方案能有效中和利用数据异构性来降低拜占庭鲁棒学习性能的新攻击。
• 重采样使现有鲁棒聚合算法在非独立同分布（non-i.i.i.d.）数据环境下，即使面对强而自适应的拜占庭攻击，也能保持高准确率。
• 重采样的计算成本可忽略不计，使其在大规模分布式学习系统中具有实际可行性。
• 理论分析证实，重采样可降低工作者间统计差异的影响，从而提升收敛性与鲁棒性。
• 实证结果表明，将重采样与标准拜占庭鲁棒聚合方法结合后，在准确率与鲁棒性方面均取得显著性能提升。
• 该方法具有普适性，无需对现有防御框架进行微调或架构修改。