[论文解读] Improving Conversational Recommender System via Contextual and Time-Aware Modeling with Less Domain-Specific Knowledge

Lingzhi Wang, Shafiq Joty+3 more|arXiv (Cornell University)|Sep 23, 2022

Recommender Systems and Techniques被引用 5

一句话总结

该论文提出了一种上下文感知且具备时间感知能力的对话推荐系统，该系统利用对话内部的上下文信息，而非依赖外部领域特定知识。通过结合使用时间感知注意力机制联合建模实体级与上下文级表征，并以预训练的 BART 模型初始化生成模块，该模型在 ReDial 和 OpenDialKG 数据集上实现了最先进性能，对外部知识的依赖更少，并在跨领域场景下表现出更强的泛化能力。

ABSTRACT

Conversational Recommender Systems (CRS) has become an emerging research topic seeking to perform recommendations through interactive conversations, which generally consist of generation and recommendation modules. Prior work on CRS tends to incorporate more external and domain-specific knowledge like item reviews to enhance performance. Despite the fact that the collection and annotation of the external domain-specific information needs much human effort and degenerates the generalizability, too much extra knowledge introduces more difficulty to balance among them. Therefore, we propose to fully discover and extract internal knowledge from the context. We capture both entity-level and contextual-level representations to jointly model user preferences for the recommendation, where a time-aware attention is designed to emphasize the recently appeared items in entity-level representations. We further use the pre-trained BART to initialize the generation module to alleviate the data scarcity and enhance the context modeling. In addition to conducting experiments on a popular dataset (ReDial), we also include a multi-domain dataset (OpenDialKG) to show the effectiveness of our model. Experiments on both datasets show that our model achieves better performance on most evaluation metrics with less external knowledge and generalizes well to other domains. Additional analyses on the recommendation and generation tasks demonstrate the effectiveness of our model in different scenarios.

研究动机与目标

• 解决对话推荐系统（CRS）中对外部领域特定知识（如商品评论或知识图谱）过度依赖的问题，这些知识通常成本高昂。
• 通过捕捉对话历史中的实体级（以项目为中心）与上下文级（话语与语义）表征，改进用户偏好建模。
• 通过强调最近提及项目的时间感知注意力机制，将时间动态因素整合到用户偏好建模中。
• 通过使用预训练的 BART 模型初始化生成模块，提升响应生成的质量与多样性。
• 通过 ReDial 与 OpenDialKG 数据集，验证所提方法在多个领域中的泛化能力与鲁棒性。

提出的方法

• 使用双重表征建模用户偏好：从对话中提及的项目中提取实体级表征，从上下文编码器中获取上下文级表征。
• 引入时间感知注意力机制，为最近提及的项目分配更高的注意力权重，并引入可学习缩放因子 λ 以控制时间效应的强度。
• 采用预训练的 BART 模型作为响应生成模块的主干网络，以提升生成响应的流畅性、连贯性与多样性。
• 通过由超参数 μ 控制的加权融合机制，结合实体级与上下文级表征，实现项目级与话语级信号之间的动态平衡。
• 联合使用交叉熵损失与响应生成损失，端到端地联合训练推荐与生成任务。
• 利用注意力机制将用户话语与相关项目对齐，生成上下文相关的恰当响应。

实验结果

研究问题

• RQ1 对话推荐系统是否能在不依赖大量外部领域特定知识（如商品评论或知识图谱）的情况下实现高性能？
• RQ2 在推荐中引入时间动态因素——特别是项目被提及的时间远近——如何影响推荐准确率与用户偏好建模？
• RQ3 上下文级表征（捕捉话语与语义信息）在多大程度上能与实体级表征（捕捉项目提及）互补，从而提升推荐质量？
• RQ4 在低资源对话推荐系统设置下，通过 BART 在大规模文本上进行预训练，是否能显著提升响应生成的质量与多样性？
• RQ5 与现有方法相比，所提模型在不同领域（如电影领域 ReDial 与书籍领域 OpenDialKG）之间的泛化能力如何？

主要发现

• 所提模型在 ReDial 与 OpenDialKG 数据集上均实现了最先进性能，尽管使用了更少的外部知识，但在大多数评估指标上仍优于现有方法。
• 时间感知注意力机制显著提升了推荐性能，当 λ > 1 时达到最优结果，表明更近期提及的项目对推荐的贡献更大。
• 实体级与上下文级表征的融合带来了性能提升，最佳结果出现在 μ ≈ 0.5 时，表明两类表征均不可或缺且具有互补性。
• 使用预训练 BART 进行响应生成，相比基线模型，能生成更多样化且更符合上下文的响应，而基线模型常产生重复或通用的回复。
• 该模型在未见领域上表现出良好的泛化能力，这在 OpenDialKG（一个与训练领域不同的多领域数据集）上表现尤为突出。
• Dist-n 与 BLEU 指标对响应长度敏感，因长度惩罚机制的存在，表明仅依赖自动指标可能无法可靠反映生成质量，建议结合人工评估。