[论文解读] Fully Decentralized Joint Learning of Personalized Models and Collaboration Graphs

Valentina Zantedeschi, Aurélien Bellet+1 more|arXiv (Cornell University)|Jan 24, 2019

Privacy-Preserving Technologies in Data被引用 13

一句话总结

该论文提出了一种完全去中心化的框架，通过交替优化联合学习用户之间的个性化模型和稀疏协作图：用户通过点对点更新迭代改进其模型，并通过采样随机对等节点来优化协作图。与基线方法相比，该方法在高维数据上实现了更高的测试准确率，同时通信成本更低，且保持了隐私性和可扩展性。

ABSTRACT

We consider the fully decentralized machine learning scenario where many users with personal datasets collaborate to learn models through local peer-to-peer exchanges, without a central coordinator. We propose to train personalized models that leverage a collaboration graph describing the relationships between user personal tasks, which we learn jointly with the models. Our fully decentralized optimization procedure alternates between training nonlinear models given the graph in a greedy boosting manner, and updating the collaboration graph (with controlled sparsity) given the models. Throughout the process, users exchange messages only with a small number of peers (their direct neighbors when updating the models, and a few random users when updating the graph), ensuring that the procedure naturally scales with the number of users. Overall, our approach is communication-efficient and avoids exchanging personal data. We provide an extensive analysis of the convergence rate, memory and communication complexity of our approach, and demonstrate its benefits compared to competing techniques on synthetic and real datasets.

研究动机与目标

• 解决集中式和联邦学习在保护用户隐私以及处理非独立同分布、个性化数据方面的局限性。
• 在无需中心协调器或全局模型的情况下，实现可扩展的去中心化协作。
• 联合学习个性化模型和反映用户间任务相似性的稀疏协作图。
• 通过自适应的本地更新，最小化通信开销，同时保持高模型准确率。
• 在用户交互有限的大规模去中心化环境中确保收敛性和可扩展性。

提出的方法

• 用户使用基于 l1-Adaboost 的贪心提升方法训练个性化非线性模型，通过逐次添加一个基分类器来增量更新。
• 仅将模型更新通信给当前协作图中的直接邻居，确保通信成本低。
• 通过对等采样服务随机采样对等节点，以去中心化方式更新协作图，保持稀疏性。
• 图更新由带正则化的目标函数引导，平衡模型平滑性与图稀疏性，使用超参数 λ 控制边的密度。
• 算法在模型优化（固定图）和图优化（固定模型）之间交替进行，实现联合收敛。
• 使用稀疏性诱导正则化器控制每个用户的邻居数量，降低通信复杂度，同时保持模型性能。

实验结果

研究问题

• RQ1 在去中心化环境中，通过动态学习任务相似性，个性化模型能否实现更好的泛化性能？
• RQ2 如何在无中心协调器的情况下，完全去中心化地学习协作图？
• RQ3 在去中心化联合学习中，图稀疏性与模型准确率之间的权衡关系如何？
• RQ4 是否能显著提升通信效率，同时在去中心化个性化学习中保持高测试准确率？
• RQ5 模型与协作图的联合优化如何影响收敛性和可扩展性？

主要发现

• 在 Harws 数据集（D=561）上，Dada-Learned 达到 95.57% 的测试准确率，通信成本低于 Perso-linear-Learned（96.87%）和 Global-Adaboost（94.34%）。
• 在 Vehicle Sensor 数据集（D=100）上，Dada-Learned 达到 91.04% 的准确率，优于 Local-Adaboost（90.59%）和 Global-Adaboost（88.02%）。
• 在 Computer Buyers 数据集（D=14）上，Dada-Learned 达到 73.55% 的准确率，显著优于 Local-Adaboost（66.61%）和 Global-Adaboost（69.16%）。
• 在 Schools 数据集（D=17）上，Dada-Learned 达到 72.47% 的准确率，超过 Local-Adaboost（70.69%）和 Global-Adaboost（69.96%）。
• 在 Moons100 数据集上学习到的协作图，每个节点平均有 42.64 个邻居，相比理想图（平均 60.86 个邻居）显著降低了通信成本。
• 随着 λ 减小，图变得越来越稀疏，测试准确率趋近于 Local-boost 的水平，清晰展示了稀疏性与性能之间的权衡。