[论文解读] Federated Reinforcement Learning: Techniques, Applications, and Open Challenges

Jiaju Qi, Qihao Zhou+2 more|arXiv (Cornell University)|Aug 26, 2021

Privacy-Preserving Technologies in Data参考文献 120被引用 10

一句话总结

本文全面综述了联邦强化学习（Federated Reinforcement Learning, FRL），将联邦学习与强化学习相结合，实现在分布式环境中保护隐私的协作决策。该文将FRL分类为横向（HFRL）和纵向（VFRL）框架，分析其在边缘计算、通信和控制系统中的应用，并识别出通信、隐私、激励机制和动态参与者管理等方面的关键挑战。

ABSTRACT

This paper presents a comprehensive survey of Federated Reinforcement Learning (FRL), an emerging and promising field in Reinforcement Learning (RL). Starting with a tutorial of Federated Learning (FL) and RL, we then focus on the introduction of FRL as a new method with great potential by leveraging the basic idea of FL to improve the performance of RL while preserving data-privacy. According to the distribution characteristics of the agents in the framework, FRL algorithms can be divided into two categories, i.e. Horizontal Federated Reinforcement Learning (HFRL) and Vertical Federated Reinforcement Learning (VFRL). We provide the detailed definitions of each category by formulas, investigate the evolution of FRL from a technical perspective, and highlight its advantages over previous RL algorithms. In addition, the existing works on FRL are summarized by application fields, including edge computing, communication, control optimization, and attack detection. Finally, we describe and discuss several key research directions that are crucial to solving the open problems within FRL.

研究动机与目标

• 为不熟悉该新兴领域的研究人员提供联邦强化学习（FRL）的系统性教程。
• 基于数据和特征分布特性，将FRL分类并定义为横向（HFRL）和纵向（VFRL）框架。
• 总结FRL在边缘计算、通信网络、控制优化和网络攻击检测等领域的现有应用。
• 识别并分析FRL中的开放研究挑战，包括通信效率、隐私与安全、参与者加入/退出机制以及激励设计。
• 通过指出关键未解问题和潜在研究方向，为未来研究提供指导，推动FRL在实际部署中的发展。

提出的方法

• 根据代理间数据和特征分布特性，将FRL分类为横向联邦强化学习（HFRL）和纵向联邦强化学习（VFRL）。
• 通过形式化定义和数学公式，引入HFRL和VFRL的系统模型与算法流程。
• 通过将联邦学习组件（数据、特征、标签）映射到强化学习组件（环境、状态、动作），分析FRL与RL的集成机制。
• 通过自动驾驶（HFRL）和智能电网（VFRL）的案例研究，回顾现有FRL算法，以阐明两类框架的差异。
• 提出一种评估代理贡献并设计激励机制的框架，以鼓励诚实参与。
• 讨论点对点合作模型作为集中式服务器的替代方案，以提升鲁棒性和能效。

实验结果

研究问题

• RQ1 如何有效整合联邦学习原则与强化学习，以在保护数据隐私的同时提升学习效率？
• RQ2 横向联邦强化学习（HFRL）与纵向联邦强化学习（VFRL）之间的关键技术差异是什么？它们在何种场景下最为适用？
• RQ3 FRL的主要应用领域有哪些？现有方案如何将FRL适配于边缘计算、通信和控制系统中的现实问题？
• RQ4 FRL中的主要开放挑战是什么，特别是通信开销、参与者动态变化（加入/退出）以及激励机制方面？
• RQ5 当参与者不可靠、不合作或可能具有恶意行为时，如何在FRL中实现安全且高效的模型聚合？

主要发现

• 联邦强化学习（FRL）通过在不共享原始数据或梯度的情况下实现模型聚合，有效解决了多智能体强化学习中的隐私问题。
• 当代理共享相同特征空间但数据分布不同时，HFRL适用；而当代理具有重叠样本但特征集不同时，VFRL适用。
• FRL通过实现真实世界代理与仿真环境之间的知识迁移，有助于弥合仿真到现实的差距。
• 现有FRL系统通常假设通信可靠且参与者诚实，凸显了在动态参与者管理与容错能力方面存在关键研究空白。
• FRL中的激励机制尚不成熟；目前尚无标准化方法公平评估并奖励协作学习中代理的贡献。
• 点对点FRL模型在降低单点故障风险和提升能效方面展现出潜力，但其在模型交换触发机制、代理选择策略和收敛性保障方面仍需进一步研究。