[论文解读] Advances and Challenges of Multi-task Learning Method in Recommender System: A Survey

Mingzhu Zhang, Ruiping Yin+3 more|arXiv (Cornell University)|May 23, 2023

Recommender Systems and Techniques被引用 6

一句话总结

本综述对推荐系统中的多任务学习（MTL）进行了全面、系统的回顾，根据任务关系发现、模型架构和优化策略对方法进行了分类。它指出了关键挑战与未来方向，包括公平性、隐私保护以及尚未充分探索的推荐场景，为基于多任务学习的推荐系统研究人员和从业者提供了基础性参考。

ABSTRACT

Multi-task learning has been widely applied in computational vision, natural language processing and other fields, which has achieved well performance. In recent years, a lot of work about multi-task learning recommender system has been yielded, but there is no previous literature to summarize these works. To bridge this gap, we provide a systematic literature survey about multi-task recommender systems, aiming to help researchers and practitioners quickly understand the current progress in this direction. In this survey, we first introduce the background and the motivation of the multi-task learning-based recommender systems. Then we provide a taxonomy of multi-task learning-based recommendation methods according to the different stages of multi-task learning techniques, which including task relationship discovery, model architecture and optimization strategy. Finally, we raise discussions on the application and promising future directions in this area.

研究动机与目标

• 为解决尽管多任务学习（MTL）在推荐系统（RS）领域研究日益增多且工业界广泛应用，但缺乏全面文献综述的问题。
• 根据三个核心阶段——任务关系发现、模型架构和优化策略——对现有的基于MTL的RS方法进行系统性分类。
• 识别并讨论关键挑战，如公平性、隐私保护以及多任务学习推荐系统中尚未充分探索的推荐场景。
• 为研究人员和从业者提供一个统一、深入的参考，以理解当前进展并指导基于多任务学习的推荐系统未来研究。

提出的方法

• 本综述通过Google Scholar和DBLP进行系统性文献回顾，聚焦于关键词‘recommendation’、‘multi-task learning’和‘recommender system’。
• 从顶级会议和期刊（如KDD、RecSys、WWW、SIGIR、IJCAI、TKDE）中收集并分类了超过100项相关研究，构建了所提出的分类体系。
• 分类框架将MTL-RS方法划分为三个阶段：(1) 任务关系发现（例如通过注意力机制、元学习或聚类）；(2) 模型架构（例如共享底座、深度与交叉网络，或基于适配器的设计）；(3) 优化策略（例如基于梯度的方法、损失加权或不确定性方法）。
• 本综述评估了各类方法的性能与局限性，强调了参数共享、泛化能力与可扩展性之间的权衡。
• 讨论了新兴挑战，如公平性（例如流行度偏差、人口统计歧视）和隐私保护（例如联邦学习与差分隐私在MTL中的应用），并引用了近期框架作为参考。
• 本文提出了未来研究方向，包括在对话推荐、社交推荐和医疗推荐等尚未充分探索的场景中应用MTL。

实验结果

研究问题

• RQ1 基于任务关系、架构与优化策略，当前多任务学习技术在推荐系统中的分类与应用方式是怎样的？
• RQ2 MTL在缓解推荐系统常见挑战（如数据稀疏性、冷启动问题和模型维护成本）方面具有哪些关键优势？
• RQ3 基于MTL的推荐系统中，主要开放挑战是什么，特别是在公平性与隐私保护方面？
• RQ4 在哪些尚未充分探索的推荐场景（如对话式、社交、医疗推荐）中，MTL可展现出未被发掘的潜力？
• RQ5 如何扩展MTL以在保持高推荐准确率的同时提升公平性与隐私保护？

主要发现

• 在推荐系统中应用MTL通过参数共享和利用辅助任务，有效缓解了数据稀疏性问题，并提升了模型的泛化能力。
• 通过用单一统一模型替代多个单任务模型，MTL显著降低了维护成本并加快了在线推理速度。
• 公平性感知的MTL方法（如学习公平性感知嵌入）在减少曝光偏差、改善代表性不足用户与物品的表示方面展现出潜力。
• 隐私保护型MTL框架（如使用协方差矩阵扰动或联邦学习）正在兴起，但在推荐系统中仍处于探索阶段。
• 尽管已在工业界成功应用（如YouTube、腾讯视频），MTL在对话推荐与社交推荐等复杂场景中仍应用不足，显示出巨大的研究潜力。
• 本综述识别出一个关键研究空白：尽管MTL在视觉与自然语言处理领域广泛应用，但其在推荐系统中的整合尚缺乏系统性、全面的综述——本研究填补了这一空白。