[论文解读] Incentive Mechanisms for Federated Learning: From Economic and Game Theoretic Perspective

Xuezhen Tu, Kun Zhu+4 more|arXiv (Cornell University)|Nov 20, 2021

Auction Theory and Applications被引用 5

一句话总结

本文对联邦学习（FL）中的经济与博弈论激励机制进行了全面综述，分析了如何通过兼顾公平性、隐私保护和多目标设计，激励数据拥有者贡献资源。文章回顾了基于拍卖的机制、用于贡献评估的Shapley值，以及与区块链和强化学习的集成，指出了多激励机制和对抗鲁棒性方面的开放挑战。

ABSTRACT

Federated learning (FL) becomes popular and has shown great potentials in training large-scale machine learning (ML) models without exposing the owners' raw data. In FL, the data owners can train ML models based on their local data and only send the model updates rather than raw data to the model owner for aggregation. To improve learning performance in terms of model accuracy and training completion time, it is essential to recruit sufficient participants. Meanwhile, the data owners are rational and may be unwilling to participate in the collaborative learning process due to the resource consumption. To address the issues, there have been various works recently proposed to motivate the data owners to contribute their resources. In this paper, we provide a comprehensive review for the economic and game theoretic approaches proposed in the literature to design various schemes for stimulating data owners to participate in FL training process. In particular, we first present the fundamentals and background of FL, economic theories commonly used in incentive mechanism design. Then, we review applications of game theory and economic approaches applied for incentive mechanisms design of FL. Finally, we highlight some open issues and future research directions concerning incentive mechanism design of FL.

研究动机与目标

• 解决因资源成本和缺乏激励而导致的联邦学习参与度低下的挑战。
• 探讨经济与博弈论模型如何设计公平、高效且保护隐私的激励机制。
• 识别现有方法中的不足，包括缺乏隐私保护、单一目标优化，以及多种激励类型共存有限的问题。
• 探索将深度强化学习（DRL）、图神经网络（GNNs）和区块链等先进技术整合到联邦学习激励机制设计中的可能性。
• 为未来研究提供路线图，涵盖多激励机制、对抗鲁棒性以及透明的贡献评估。

提出的方法

• 使用经济与博弈论框架对现有联邦学习激励机制进行综述与分类。
• 分析拍卖机制（如在线拍卖）在参与者选择与支付分配中的应用。
• 回顾基于Shapley值的贡献评估方法以实现公平性，包括高效估计与基于区块链的安全计算。
• 研究基于本地差分隐私的隐私保护模型，用于量化并补偿隐私损失。
• 评估联合优化联邦学习性能与公平性的多目标激励设计。
• 探究深度强化学习（DRL）、生成对抗网络（GANs）和多智能体强化学习在激励机制设计中的新兴整合。

实验结果

研究问题

• RQ1 经济与博弈论模型如何用于设计联邦学习中公平且高效的激励机制？
• RQ2 在保护隐私并确保公平性的同时，评估参与者贡献的关键挑战是什么？
• RQ3 如何使多种激励机制（如货币激励、非货币激励）共存，并针对多样化参与者实现个性化设计？
• RQ4 深度强化学习（DRL）和区块链等先进技术在提升激励机制透明度与效率方面发挥什么作用？
• RQ5 如何在激励驱动的联邦学习系统中缓解对抗性行为与隐私泄露问题？

主要发现

• 在线拍卖是联邦学习中参与者选择与支付分配的有前景解决方案，可实现基于市场的高效资源交换。
• 基于Shapley值的贡献评估可确保公平性，已在联邦学习中通过联邦Shapley值与贡献指数得到应用，但计算复杂度仍是挑战。
• 已提出计算与通信高效的Shapley值估计方法，以降低大规模联邦学习中的时间复杂度。
• 基于区块链的Shapley值机制提升了透明度，并减少了贡献评估中的垄断行为。
• 现有机制往往忽视隐私保护，数据拥有者在竞标失败时可能未获补偿即暴露其偏好。
• 当前激励机制通常仅优化单一目标（如性能或公平性），但需联合优化参与者选择、贡献评估与公平性，以实现整体性能提升。