[论文解读] BARCOR: Towards A Unified Framework for Conversational Recommendation Systems

Ting-Chun Wang, Shang‐Yu Su+1 more|arXiv (Cornell University)|Mar 27, 2022

Recommender Systems and Techniques被引用 5

一句话总结

本文提出 BARCOR，一种基于 BART 的统一框架，通过单一端到端架构联合建模对话推荐系统中的推荐与响应生成。通过利用 BART 的双向编码器进行用户偏好建模，以及自回归解码器进行响应生成，并结合轻量级电影领域知识图谱（CORG），BARCOR 在自动评估与人工评估中均达到最先进性能，优于以往模块化方法，且参数更少、优化更稳定。

ABSTRACT

Recommendation systems focus on helping users find items of interest in the situations of information overload, where users' preferences are typically estimated by the past observed behaviors. In contrast, conversational recommendation systems (CRS) aim to understand users' preferences via interactions in conversation flows. CRS is a complex problem that consists of two main tasks: (1) recommendation and (2) response generation. Previous work often tried to solve the problem in a modular manner, where recommenders and response generators are separate neural models. Such modular architectures often come with a complicated and unintuitive connection between the modules, leading to inefficient learning and other issues. In this work, we propose a unified framework based on BART for conversational recommendation, which tackles two tasks in a single model. Furthermore, we also design and collect a lightweight knowledge graph for CRS in the movie domain. The experimental results show that the proposed methods achieve the state-of-the-art performance in terms of both automatic and human evaluation.

研究动机与目标

• 解决模块化对话推荐系统（CRS）中推荐与响应生成模块分离所导致的效率低下与知识迁移能力差的问题。
• 开发一种统一的端到端框架，通过共享上下文表征联合优化推荐与对话生成。
• 设计并构建一个轻量级、领域特定的知识图谱（CORG），专用于电影领域，以增强 CRS 中实体与关系的建模能力。
• 通过将知识图谱的结构化知识与预训练上下文表征相结合，提升推荐准确率与响应质量。
• 证明共享表征的统一架构在自动评估与人工评估中均优于现有模块化与多知识图谱方法。

提出的方法

• 采用 BART 架构作为统一主干网络，其中双向编码器作为推荐模块，自回归解码器作为响应生成模块。
• 提出一种新颖的轻量级知识图谱 CORG（Conversational Recommendation Graph），专用于电影领域，包含实体、关系及词级别语义链接。
• 在 CORG 上使用图神经网络（GNN）编码器以增强实体表征，节点嵌入初始化自预训练的 BART 编码器，以稳定训练过程。
• 应用节点分类损失对图编码器进行监督，提升对话上下文与知识图谱实体之间的语义对齐。
• 通过回译与实体掩码进行训练集增强，提升统一模型的鲁棒性与泛化能力。
• 在推荐与生成任务中共享 BART 编码器的句子级表征，实现联合优化与知识迁移。

实验结果

研究问题

• RQ1 基于类似 BART 的预训练序列到序列架构的统一端到端模型，是否能在推荐准确率与响应质量上超越模块化 CRS 系统？
• RQ2 在对话推荐系统中引入轻量级、领域特定的知识图谱（CORG）如何提升性能？
• RQ3 在统一框架中，共享上下文表征对推荐与响应生成之间的知识迁移有何影响？
• RQ4 不同的训练技术（如节点初始化、损失监督与数据增强）如何影响统一模型的优化稳定性与性能？
• RQ5 对话历史中的隐式关系在多大程度上可替代显式的知识图谱结构以实现准确推荐？

主要发现

• BARCOR 在自动评估与人工评估指标上均达到最先进性能，优于 KGSF 与 KBRD 等强基线模型，在推荐准确率（R@1, R@5, R@10）与响应流畅性/相关性方面表现更优。
• BARCOR 的推荐模块仅含 3900 万个参数，不足 KGSF（1.06 亿）与 KBRD（9100 万）的一半，却实现更优性能，表明其具有更高的参数效率。
• 消融实验表明，使用预训练 BART 编码器初始化的节点嵌入显著提升性能并减少过拟合，而随机初始化则导致性能下降与训练不稳定。
• 即使移除 CORG（知识图谱），模型仍能取得具有竞争力的结果，表明 BART 编码器的句子级语义表征已蕴含足够信息以实现准确推荐，即使无显式图结构。
• 所提出的节点分类损失与训练集增强技术有效稳定了训练过程并提升了泛化能力，尤其在图编码器参数量较大（2700 万，占总参数量的 68%）的情况下效果显著。
• 人工评估确认，BARCOR 生成的响应更具信息量、更流畅、更相关，且在连贯性与用户偏好评分方面均优于基线模型。