[论文解读] Adversary-resilient Inference and Machine Learning: From Distributed to Decentralized.

Zhixiong Yang, Arpita Gang+1 more|arXiv (Cornell University)|Aug 23, 2019

Advanced Memory and Neural Computing参考文献 23被引用 13

一句话总结

本文全面综述了在拜占庭威胁模型下，针对分布式和去中心化系统中的对抗性弹性推理与机器学习。在该模型中，恶意节点可任意偏离协议。本文整合了近期确保对这类攻击具备鲁棒性的算法进展，深入探讨了在对抗条件下实现弹性聚合、共识与学习的机制。

ABSTRACT

While the last few decades have witnessed a huge body of work devoted to inference and learning in distributed and decentralized setups, much of this work assumes a non-adversarial setting in which individual nodes---apart from occasional statistical failures---operate as intended within the algorithmic framework. In recent years, however, cybersecurity threats from malicious non-state actors and rogue entities have forced practitioners and researchers to rethink the robustness of distributed and decentralized algorithms against adversarial attacks. As a result, we now have a plethora of algorithmic approaches that guarantee robustness of distributed and/or decentralized inference and learning under different adversarial threat models. Driven in part by the world's growing appetite for data-driven decision making, however, securing of distributed/decentralized frameworks for inference and learning against adversarial threats remains a rapidly evolving research area. In this article, we provide an overview of some of the most recent developments in this area under the threat model of Byzantine attacks.

研究动机与目标

• 应对在对抗条件下，去中心化与分布式系统中对稳健推理与学习日益增长的需求。
• 识别并分析传统分布式算法在遭受拜占庭攻击时的脆弱性。
• 综述近期确保在去中心化学习框架中对任意节点行为具备弹性的算法解决方案。
• 突出展示在实现大规模、实际数据驱动系统中可扩展且实用的对抗弹性所面临的挑战与开放问题。

提出的方法

• 综述并分类现有旨在抵抗拜占庭对手的分布式与去中心化学习系统中的算法方法。
• 聚焦于节点可能任意行为（拜占庭故障）的威胁模型，包括对梯度、模型更新或数据的操纵。
• 考察如中位数、截尾均值、Krum等稳健聚合规则，共识机制，以及基于冗余的检测技术。
• 分析这些防御机制在联邦学习与去中心化优化框架中的集成方式。
• 评估鲁棒性、收敛速度、通信效率与系统可扩展性之间的权衡。
• 综合分析这些防御机制在不同对手控制与网络拓扑假设下的表现。

实验结果

研究问题

• RQ1 标准去中心化与分布式学习算法在拜占庭威胁模型下存在哪些关键脆弱性？
• RQ2 不同的稳健聚合技术如何减轻去中心化学习中拜占庭更新的影响？
• RQ3 在对抗弹性学习中，鲁棒性、收敛性与通信开销之间的性能权衡是什么？
• RQ4 共识与冗余机制在何种方式下增强了去中心化推理与学习中的弹性？
• RQ5 将拜占庭弹性算法扩展至大规模、现实世界去中心化系统面临哪些开放挑战？

主要发现

• 近期的算法方法显著提升了去中心化学习系统对拜占庭对手的弹性。
• 如Krum与截尾均值等稳健聚合规则能有效降低恶意更新在去中心化优化中的影响。
• 基于共识的防御机制在对抗条件下增强了去中心化系统的协调性与一致性。
• 冗余与检测机制的集成提升了容错能力，同时未牺牲收敛速度。
• 鲁棒性、通信成本与收敛速率之间的权衡仍是实际部署中的关键挑战。
• 该领域快速发展，对可扩展且高效的现实世界数据驱动系统解决方案的关注日益增加。