[论文解读] Can Decentralized Learning be more robust than Federated Learning?

Mathilde Raynal, Dario Pasquini+1 more|arXiv (Cornell University)|Mar 7, 2023

Privacy-Preserving Technologies in Data被引用 5

一句话总结

本文证明，由于对等网络中增强了的对抗能力，去中心化学习（DL）本质上比联邦学习（FL）更不鲁棒。本文引入了两种新型拜占庭攻击——状态覆盖攻击和沙坑攻击，利用对个体更新的了解以及不一致的消息传递，即使在最先进的鲁棒协议（如SCClip）下，也能劫持模型收敛或隔离受害者。

ABSTRACT

Decentralized Learning (DL) is a peer--to--peer learning approach that allows a group of users to jointly train a machine learning model. To ensure correctness, DL should be robust, i.e., Byzantine users must not be able to tamper with the result of the collaboration. In this paper, we introduce two extit{new} attacks against DL where a Byzantine user can: make the network converge to an arbitrary model of their choice, and exclude an arbitrary user from the learning process. We demonstrate our attacks' efficiency against Self--Centered Clipping, the state--of--the--art robust DL protocol. Finally, we show that the capabilities decentralization grants to Byzantine users result in decentralized learning \emph{always} providing less robustness than federated learning.

研究动机与目标

• 探究在存在拜占庭用户的情况下，去中心化学习（DL）是否能比联邦学习（FL）实现更高的鲁棒性。
• 识别并分析去中心化学习对等网络架构所赋予的新型对抗能力，这些能力在联邦学习中并不存在。
• 评估最先进的鲁棒DL协议（如SCClip）对新型拜占庭攻击的有效性。
• 在对手可观察个体更新的现实威胁模型下，比较DL与FL的鲁棒性。
• 研究去中心化拓扑中鲁棒性与通信效率之间的权衡。

提出的方法

• 设计一种状态覆盖攻击，使拜占庭用户通过抵消诚实参与者的贡献，将网络收敛至任意模型。
• 提出一种沙坑攻击，通过发送不一致的更新，将受害者用户从网络中隔离，使其无法学习，同时阻止其他用户从其参与中获益。
• 采用噪声更新攻击，证明在DL中，由于对等网络架构，不一致的消息传递会降低鲁棒性，即使噪声极小。
• 使用完整的通信拓扑以最大化攻击者的可见性与控制力，从而能够观察所有个体更新。
• 在相同训练条件下比较DL与FL，隔离去中心化通信对攻击能力的影响。
• 分析拓扑稀疏性与混合矩阵特性在限制攻击者能力方面的作用，表明随着网络密度增加，鲁棒性下降。

实验结果

研究问题

• RQ1 由于架构差异，去中心化学习中的拜占庭用户是否能实施比联邦学习中更具有破坏性的攻击？
• RQ2 现有鲁棒聚合协议（如SCClip）在去中心化学习中对新型攻击的防护程度如何？
• RQ3 与联邦学习相比，能够观察并针对不同邻居发送不一致更新的能力，在去中心化学习中如何增强攻击者的控制力？
• RQ4 去中心化学习系统中是否存在鲁棒性与通信效率之间的根本性权衡？
• RQ5 考虑到对等网络中拜占庭用户能力的增强，去中心化学习是否可能比联邦学习更鲁棒？

主要发现

• 状态覆盖攻击使拜占庭用户即使在存在鲁棒聚合机制的情况下，也能通过抵消诚实贡献完全控制最终模型。
• 沙坑攻击成功地将受害者用户从网络中隔离，阻止其学习，并使网络无法从其参与中获益。
• 即使在最先进的鲁棒DL协议SCClip下，这些攻击依然有效，表明鲁棒聚合无法弥合安全差距。
• 噪声更新攻击表明，由于对等网络架构，当攻击者可发送不一致更新时，DL的鲁棒性劣于FL。
• 去中心化学习本质上比联邦学习更不鲁棒，因为拜占庭用户获得了更多能力（如观察个体更新、发送不一致消息），而这些能力在服务器中介的FL中并不存在。
• 鲁棒性与拓扑稀疏性直接对立：更密集的拓扑会增强攻击者的能力，使得在不牺牲通信效率的前提下实现鲁棒性更加困难。