[论文解读] Communication-Efficient Distributed Machine Learning over Strategic Networks: A Two-Layer Game Approach.

Shutian Liu, Tao Li+1 more|arXiv (Cornell University)|Nov 3, 2020

Distributed Sensor Networks and Detection Algorithms参考文献 27被引用 4

一句话总结

本文提出了一种两层博弈论框架，用于在具有策略行为的网络中实现通信高效的分布式机器学习，其中节点联合优化学习参数与网络拓扑。该方法可收敛至纳什均衡，平衡局部模型精度与全局一致性，在如帕金森病远程监测等流数据场景中，相较于非策略性网络，显著提升了社会效益。

ABSTRACT

This paper considers a game-theoretic framework for distributed learning problems over networks where communications between nodes are costly. In the proposed game, players decide both the learning parameters and the network structure for communications. The Nash equilibrium characterizes the tradeoff between the local performance and the global agreement of the learned classifiers. We introduce a two-layer algorithm to find the equilibrium. The algorithm features a joint learning process that integrates the iterative learning at each node and the network formation. We show that our game is equivalent to a generalized potential game in the setting of symmetric networks. We study the convergence of the proposed algorithm, analyze the network structures determined by our game, and show the improvement of the social welfare in comparison with the distributed learning over non-strategic networks. In the case study, we deal with streaming data and use telemonitoring of Parkinson's disease to corroborate the results.

研究动机与目标

• 解决在去中心化网络中分布式机器学习的高通信成本问题。
• 将学习参数与网络结构的联合决策建模为节点间的策略博弈。
• 分析所提出的联合学习与网络构建过程的均衡特性与收敛性。
• 与非策略性网络配置相比，证明系统社会效益的提升。
• 在真实世界流数据应用中验证该框架：帕金森病远程监测。

提出的方法

• 构建一个两层博弈，其中节点同时选择本地学习参数与通信链路。
• 设计一种联合迭代算法，实现本地模型更新与网络拓扑自适应的同步。
• 在对称网络条件下，证明该博弈等价于广义潜在博弈，确保均衡存在性。
• 利用潜在函数分析，建立联合学习与网络构建过程的收敛性。
• 集成流数据处理机制，支持动态环境中实时学习。
• 将该框架应用于帕金森病的远程监测，以在真实世界约束下验证性能。

实验结果

研究问题

• RQ1 在具有策略行为的去中心化网络中，如何使分布式学习更具通信效率？
• RQ2 当节点联合优化学习性能与通信成本时，会涌现出何种均衡结构？
• RQ3 所提出的两层博弈框架能否确保联合学习与网络构建过程的收敛性与稳定性？
• RQ4 与非策略性网络配置相比，系统的社会效益有何差异？
• RQ5 在帕金森病监测等流数据应用中，可实现哪些性能提升？

主要发现

• 在对称网络假设下，所提出的博弈等价于广义潜在博弈，保证了纳什均衡的存在性。
• 联合学习与网络构建算法收敛至一个稳定均衡，平衡了局部精度与全局一致性。
• 与非策略性网络拓扑相比，该框架在社会效益方面实现了可衡量的提升。
• 该算法有效处理流数据，展示了在实时监控应用中的实际可行性。
• 帕金森病远程监测的案例研究证实了该框架在真实世界部署中的鲁棒性与高效性。
• 均衡结构促进了高效的通信模式，减少了冗余数据传输，同时保持了模型精度。