[论文解读] HeteFedRec: Federated Recommender Systems with Model Heterogeneity

Wei Yuan, Liang Qu+4 more|arXiv (Cornell University)|Jul 24, 2023

Recommender Systems and TechniquesComputer Science被引用 3

一句话总结

HeteFedRec 提出了一种新型联邦推荐系统，通过统一的双任务学习与维度去相关正则化，实现对异构数据资源客户端的个性化模型尺寸配置，支持不同大小模型的聚合。该方法通过根据客户端特定的数据可用性动态调整模型容量，在性能上显著优于同构基线模型。

ABSTRACT

Owing to the nature of privacy protection, federated recommender systems (FedRecs) have garnered increasing interest in the realm of on-device recommender systems. However, most existing FedRecs only allow participating clients to collaboratively train a recommendation model of the same public parameter size. Training a model of the same size for all clients can lead to suboptimal performance since clients possess varying resources. For example, clients with limited training data may prefer to train a smaller recommendation model to avoid excessive data consumption, while clients with sufficient data would benefit from a larger model to achieve higher recommendation accuracy. To address the above challenge, this paper introduces HeteFedRec, a novel FedRec framework that enables the assignment of personalized model sizes to participants. In HeteFedRec, we present a heterogeneous recommendation model aggregation strategy, including a unified dual-task learning mechanism and a dimensional decorrelation regularization, to allow knowledge aggregation among recommender models of different sizes. Additionally, a relation-based ensemble knowledge distillation method is proposed to effectively distil knowledge from heterogeneous item embeddings. Extensive experiments conducted on three real-world recommendation datasets demonstrate the effectiveness and efficiency of HeteFedRec in training federated recommender systems under heterogeneous settings.

研究动机与目标

• 解决现有联邦推荐系统（FedRecs）强制所有客户端使用统一模型尺寸的问题，尽管其数据资源各不相同。
• 实现基于不同尺寸的推荐模型协同训练，以更好地匹配客户端特定的数据可用性与计算能力。
• 开发一种支持异构模型尺寸的知识聚合机制，无需要求模型架构完全相同。
• 通过根据客户端数据量定制模型大小，提升联邦设置下的推荐准确率与效率。
• 通过正则化与蒸馏技术，确保在不同大小模型之间实现稳定的知识迁移。

提出的方法

• 提出统一的双任务学习框架，联合优化异构模型尺寸下的模型聚合与表征学习。
• 引入维度去相关正则化，防止在聚合来自不同尺寸模型的项目嵌入时出现特征冗余与维度坍塌。
• 设计基于关系的集成知识蒸馏方法，利用用户-项目交互关系，将知识从大模型传递至小模型。
• 允许客户端根据本地数据量训练个性化尺寸的模型（小、中、大），避免过拟合或欠拟合。
• 采用支持异构模型架构与尺寸的公共参数聚合策略，实现模型更新的加法聚合。
• 在客户端间使用相同的模型架构，但允许每个客户端的参数数量不同，以反映资源异构性。

实验结果

研究问题

• RQ1 联邦推荐系统能否通过为具有不同数据量的客户端分配个性化模型尺寸，实现更优性能？
• RQ2 如何在不依赖相同架构的前提下，有效聚合不同尺寸推荐模型的知识？
• RQ3 何种正则化机制可确保在异构模型尺寸之间实现稳定且有效的知识迁移？
• RQ4 基于关系的知识蒸馏方法在异构联邦设置下如何提升性能？
• RQ5 模型尺寸配置对联邦推荐系统整体性能有何影响？

主要发现

• HeteFedRec 在所有数据集上均优于同构 FedRec 基线模型（如 Fed-NCF 与 Fed-LightGCN），尤其在中等模型尺寸设置下表现更优。
• 在 MovieLens-1M 数据集上，HeteFedRec 在 {8,16,32} 模型尺寸配置下达到 NDCG@20 为 0.04781，显著优于 'All Small'（0.04328）与 'All Large'（0.04028）设置。
• 当模型尺寸增至 {32,64,128} 时，HeteFedRec 仍优于 'All Large' 基线（0.04074 vs. 0.03903，Fed-NCF）。
• HeteFedRec 的性能在正则化因子 α 的中间值处达到峰值，表明知识蒸馏与表征稳定性之间存在最优平衡。
• 实验表明，性能随模型尺寸增加而先提升，但当模型过大时性能下降，证实个性化尺寸配置的必要性。
• 基于关系的知识蒸馏方法有效增强了从大模型到小模型的知识迁移，提升了整体聚合质量。