[论文解读] Byzantine Resilient Distributed Multi-Task Learning

Jiani Li, Waseem Abbas+1 more|arXiv (Cornell University)|Oct 25, 2020

Domain Adaptation and Few-Shot Learning参考文献 44被引用 4

一句话总结

本文提出了一种用于分布式多任务学习的拜占庭容错在线权重调整规则，该规则利用累积损失来衡量各代理模型之间的相似性。通过过滤掉损失较高的邻居，该方法确保正常代理即使在存在任意数量拜占庭代理的情况下，仍能收敛至全局最小值，实现了无需事先知晓故障代理数量的容错性，并在凸与非凸设置下均优于非合作学习。

ABSTRACT

Distributed multi-task learning provides significant advantages in multi-agent networks with heterogeneous data sources where agents aim to learn distinct but correlated models simultaneously.However, distributed algorithms for learning relatedness among tasks are not resilient in the presence of Byzantine agents. In this paper, we present an approach for Byzantine resilient distributed multi-task learning. We propose an efficient online weight assignment rule by measuring the accumulated loss using an agent's data and its neighbors' models. A small accumulated loss indicates a large similarity between the two tasks. In order to ensure the Byzantine resilience of the aggregation at a normal agent, we introduce a step for filtering out larger losses. We analyze the approach for convex models and show that normal agents converge resiliently towards the global minimum.Further, aggregation with the proposed weight assignment rule always results in an improved expected regret than the non-cooperative case. Finally, we demonstrate the approach using three case studies, including regression and classification problems, and show that our method exhibits good empirical performance for non-convex models, such as convolutional neural networks.

研究动机与目标

• 解决现有分布式多任务学习方法对发送恶意更新的拜占庭代理的脆弱性。
• 开发一种计算高效、在线的估计任务相似性的方法，无需集中协调。
• 确保即使所有邻居均为拜占庭代理，正常代理也能实现收敛鲁棒性，且无需对故障代理数量设定预定义上限。
• 通过自适应的、基于损失的邻居加权，改善相对于非合作学习的期望遗憾。
• 在凸与非凸模型（包括深度神经网络）中，通过多样化的现实世界案例研究，证明方法的有效性。

提出的方法

• 使用每个代理在其邻居模型下的数据累积损失来衡量代理之间的相似性，损失越低表示相似性越高。
• 引入过滤步骤，排除损失超过自身损失的邻居，从而减轻拜占庭代理的影响。
• 根据邻居的归一化损失值动态分配权重，确保在存在对抗行为时仍能实现鲁棒聚合。
• 采用线性时间计算策略进行权重分配，可扩展至大规模邻居集合和高维数据。
• 将基于损失的加权规则集成到具有迭代模型交换与聚合的分布式多任务学习框架中。
• 在凸性假设下证明理论收敛至全局最小值，并显示相比非合作学习，期望遗憾得到改善。

实验结果

研究问题

• RQ1 当使用模型参数距离作为相似性度量时，分布式多任务学习系统是否仍能对拜占庭代理保持鲁棒性？
• RQ2 如何在去中心化、可扩展且拜占庭容错的前提下，实现任务相似性的在线估计？
• RQ3 在存在对抗性代理的情况下，使用基于损失的权重聚合是否能改善相对于非合作学习的期望遗憾？
• RQ4 所提出的方法是否能在所有邻居均为拜占庭代理的情况下，仍确保收敛至全局最小值？
• RQ5 在现实应用中，该方法在非凸模型（如卷积神经网络）上的实际表现如何？

主要发现

• 所提出的基于损失的权重分配规则在所有案例研究中，均一致优于基线规则和非合作学习，在平均损失与分类准确率方面表现更优。
• 在极端情况下（仅一个正常代理，其余全为拜占庭代理），该方法性能与非合作学习完全一致，证明其对任意数量拜占庭代理的鲁棒性。
• 在凸模型下，即使所有邻居均为敌对代理，该方法仍能确保正常代理鲁棒地收敛至全局最小值。
• 理论上证明，使用所提出权重的聚合可严格改善相对于非合作学习的期望遗憾。
• 在回归、人体动作识别和数字分类任务中的实证结果表明，该方法在非凸模型（包括卷积神经网络）上表现强劲。
• 过滤机制通过识别并丢弃损失异常高的邻居，有效抑制了恶意更新，显著增强了系统鲁棒性。