[论文解读] A Unified Multi-task Learning Framework for Multi-goal Conversational Recommender Systems

Yang Deng, Wenxuan Zhang+4 more|arXiv (Cornell University)|Apr 14, 2022

Recommender Systems and Techniques被引用 9

一句话总结

该论文提出UniMIND，一种统一的多任务学习框架，通过提示学习将目标规划、话题预测、物品推荐和响应生成整合到单一的序列到序列范式中。该方法在DuRecDial和TG-ReDial基准上，于所有四项任务中均取得了最先进性能，证明了联合建模与端到端训练在多目标对话推荐系统中的有效性。

ABSTRACT

Recent years witnessed several advances in developing multi-goal conversational recommender systems (MG-CRS) that can proactively attract users' interests and naturally lead user-engaged dialogues with multiple conversational goals and diverse topics. Four tasks are often involved in MG-CRS, including Goal Planning, Topic Prediction, Item Recommendation, and Response Generation. Most existing studies address only some of these tasks. To handle the whole problem of MG-CRS, modularized frameworks are adopted where each task is tackled independently without considering their interdependencies. In this work, we propose a novel Unified MultI-goal conversational recommeNDer system, namely UniMIND. In specific, we unify these four tasks with different formulations into the same sequence-to-sequence (Seq2Seq) paradigm. Prompt-based learning strategies are investigated to endow the unified model with the capability of multi-task learning. Finally, the overall learning and inference procedure consists of three stages, including multi-task learning, prompt-based tuning, and inference. Experimental results on two MG-CRS benchmarks (DuRecDial and TG-ReDial) show that UniMIND achieves state-of-the-art performance on all tasks with a unified model. Extensive analyses and discussions are provided for shedding some new perspectives for MG-CRS.

研究动机与目标

• 为解决多目标对话推荐系统（MG-CRS）中模块化、任务特定模型的局限性，这些模型无法建模任务间的依赖关系，且需要手动协调任务。
• 将MG-CRS的四个核心任务——目标规划、话题预测、物品推荐和响应生成——统一到一个端到端的序列到序列学习框架中。
• 在不依赖预定义目标序列或话题线程的前提下，实现在多种对话类型（如闲聊、问答、推荐）中的联合学习与推理。
• 探究基于提示学习在统一范式下对齐不同任务形式（分类、排序、生成）的可行性与有效性。

提出的方法

• UniMIND将所有四项MG-CRS任务重新表述为统一的序列到序列（Seq2Seq）生成框架，其中每个任务均表示为文本到文本的预测问题。
• 采用基于提示的学习策略，通过任务特定的提示模板引导模型生成不同任务的输出，实现在单一模型内的多任务学习。
• 训练流程包含三个阶段：多任务预训练、基于提示的微调和推理，所有任务共享参数。
• 模型以预训练语言模型（如BART）作为主干网络，并注入任务特定的提示嵌入以控制生成过程。
• 通过共享表示和联合优化，隐式捕捉任务间依赖关系，相比级联架构减少了误差传播。
• 通过重用同一模型并配合不同提示模板，支持零样本和少样本适应，适用于未见过的任务或低资源场景。

实验结果

研究问题

• RQ1 统一的序列到序列框架能否有效建模多目标对话推荐系统中四个相互依赖的任务？
• RQ2 基于提示的学习如何实现在单一模型中对异构任务类型（分类、排序、生成）的多任务学习？
• RQ3 与独立或模块化方法相比，联合学习在多大程度上提升了所有四项任务的性能？
• RQ4 在真实对话中缺乏预定义目标序列或话题线程的情况下，统一框架如何应对？
• RQ5 该统一方法的失败模式和局限性是什么，特别是在误差传播和推荐稀疏性方面？

主要发现

• UniMIND在两个主要MG-CRS基准——DuRecDial和TG-ReDial上，于目标规划、话题预测、物品推荐和响应生成四项任务中均实现了最先进性能。
• 在TG-ReDial数据集上，UniMIND在话题预测任务中达到87.20%的精确匹配分数，物品推荐为80.17%，响应生成为15.44%，尽管在序列化任务中存在较高误差传播，仍表现出强劲性能。
• 在DuRecDial数据集上，模型在话题预测任务中达到92.32%，物品推荐为89.16%，表明其在该基准上具有更好的泛化能力和鲁棒性。
• 案例研究显示，与Union和BART等基线模型相比，UniMIND能生成更具上下文连贯性和目标适配性的响应，尤其在闲聊和多话题场景中表现更优。
• 误差分析表明，推荐性能受限于用户-物品交互的稀疏性，而通过在开放域对话数据上进行微调，可进一步提升响应的信息量。
• 通过提示工程，该框架在少样本和零样本场景下展现出适应潜力，表明其在低资源场景下的可扩展性。