[论文解读] Decentralized Collaborative Learning Framework for Next POI Recommendation

Jing Long, Tong Chen+2 more|arXiv (Cornell University)|Mar 30, 2022

Privacy-Preserving Technologies in Data被引用 5

一句话总结

本文提出DCLR，一种用于下一地点兴趣（POI）推荐的去中心化协作学习框架，使用户能够在本地训练个性化模型的同时，从地理位置和语义上相似的同伴中协作学习。通过利用POI嵌入的自监督预训练，以及基于互信息的注意力聚合机制，从多样化邻居中整合知识，DCLR在实现最先进的性能的同时，具备强大的隐私保护能力，并减少了对云服务的依赖。

ABSTRACT

Next Point-of-Interest (POI) recommendation has become an indispensable functionality in Location-based Social Networks (LBSNs) due to its effectiveness in helping people decide the next POI to visit. However, accurate recommendation requires a vast amount of historical check-in data, thus threatening user privacy as the location-sensitive data needs to be handled by cloud servers. Although there have been several on-device frameworks for privacy-preserving POI recommendations, they are still resource-intensive when it comes to storage and computation, and show limited robustness to the high sparsity of user-POI interactions. On this basis, we propose a novel decentralized collaborative learning framework for POI recommendation (DCLR), which allows users to train their personalized models locally in a collaborative manner. DCLR significantly reduces the local models' dependence on the cloud for training, and can be used to expand arbitrary centralized recommendation models. To counteract the sparsity of on-device user data when learning each local model, we design two self-supervision signals to pretrain the POI representations on the server with geographical and categorical correlations of POIs. To facilitate collaborative learning, we innovatively propose to incorporate knowledge from either geographically or semantically similar users into each local model with attentive aggregation and mutual information maximization. The collaborative learning process makes use of communications between devices while requiring only minor engagement from the central server for identifying user groups, and is compatible with common privacy preservation mechanisms like differential privacy. We evaluate DCLR with two real-world datasets, where the results show that DCLR outperforms state-of-the-art on-device frameworks and yields competitive results compared with centralized counterparts.

研究动机与目标

• 解决依赖云存储和处理敏感签到数据的集中式POI推荐系统所面临的隐私、可扩展性和弹性问题。
• 通过基于地理位置接近度和类别标签的自监督信号预训练POI表征，克服本地POI推荐中的数据稀疏性问题。
• 通过轻量级的去中心化框架，使用户能够与相似同伴协作学习，从而在不依赖中心化模型的情况下实现个性化、高性能的POI推荐。
• 通过最小化模型传输并支持高效的本地训练与协作知识聚合，降低云平台和本地设备的计算与存储成本。

提出的方法

• 使用两种自监督目标预训练POI表征：(1) 利用坐标信息预测POI之间的地理距离；(2) 最大化POI类别与其关联标签之间的互信息。
• 为每位用户识别两类邻居：(1) 地理位置相近的用户；(2) POI类别偏好相似的用户，基于嵌入相似性确定。
• 应用注意力聚合机制，通过可学习的注意力门控，结合两类邻居的知识，优先选择相关协作信号。
• 最大化本地模型表征与聚合邻居特征之间的互信息，以增强知识迁移和表征质量。
• 采用轻量级通信协议，仅在设备间交换模型参数（而非原始数据），中心服务器仅负责初始模型分发和用户分组。
• 在通信过程中集成差分隐私，以在协作学习过程中保护用户隐私。

实验结果

研究问题

• RQ1 基于地理位置和类别POI特征的自监督预训练是否能有效缓解本地POI推荐中的数据稀疏性问题？
• RQ2 与仅本地训练相比，从地理位置和语义上相似的用户中协作学习，能否显著提升个性化推荐的准确性？
• RQ3 去中心化框架在多大程度上能减少对云基础设施的依赖，同时保持与集中式模型相当的性能？
• RQ4 互信息最大化与注意力聚合的结合，如何增强去中心化协作学习中的知识迁移效果？
• RQ5 不同邻居识别策略（地理型 vs. 偏好型）对推荐性能和隐私保护的影响如何？

主要发现

• DCLR在下一POI推荐准确率上优于最先进的本地框架，展现出在数据稀疏性和本地计算资源有限条件下的卓越性能。
• 所提出的自监督预训练任务显著提升了POI表征质量，消融实验表明其在下游推荐任务中带来可量化的性能增益。
• 与仅使用单一类型邻居相比，同时与地理位置和语义上相似的邻居协作学习，能带来更好的模型泛化能力。
• 注意力聚合机制有效平衡了不同类型邻居的贡献，提升了模型鲁棒性和推荐准确性。
• 通过差分隐私和最小化数据泄露，框架保持了强大的隐私保障，仅共享模型参数而非原始签到数据。
• 即使在本地数据有限的情况下，DCLR仍能实现与集中式模型相当的竞争力性能，证实了其在去中心化、隐私保护推荐中的有效性。