[论文解读] Personalized Transformer for Explainable Recommendation

Lei Li, Yongfeng Zhang+1 more|arXiv (Cornell University)|May 25, 2021

Topic Modeling参考文献 37被引用 8

一句话总结

本文提出 PETER，一种个性化 Transformer 模型，通过将用户和商品 ID 整合到自然语言生成中，实现可解释性推荐。通过引入一种上下文预测任务，将 ID 映射为目标词汇，PETER 使 Transformer 能够生成用户和商品特定的解释，在大规模数据集上，其生成质量与训练效率均优于微调后的 BERT。

ABSTRACT

Personalization of natural language generation plays a vital role in a large spectrum of tasks, such as explainable recommendation, review summarization and dialog systems. In these tasks, user and item IDs are important identifiers for personalization. Transformer, which is demonstrated with strong language modeling capability, however, is not personalized and fails to make use of the user and item IDs since the ID tokens are not even in the same semantic space as the words. To address this problem, we present a PErsonalized Transformer for Explainable Recommendation (PETER), on which we design a simple and effective learning objective that utilizes the IDs to predict the words in the target explanation, so as to endow the IDs with linguistic meanings and to achieve personalized Transformer. Besides generating explanations, PETER can also make recommendations, which makes it a unified model for the whole recommendation-explanation pipeline. Extensive experiments show that our small unpretrained model outperforms fine-tuned BERT on the generation task, in terms of both effectiveness and efficiency, which highlights the importance and the nice utility of our design.

研究动机与目标

• 为解决在 Transformer 中个性化自然语言生成的挑战，其中用户和商品 ID 与词汇在语义上不一致。
• 实现一个统一模型，使用相同架构同时完成推荐与解释生成。
• 设计一种学习目标，赋予用户和商品 ID 语言学意义，使其在生成过程中更具有效性。
• 通过将商品特征融入生成过程，提升可解释性，实现针对性的解释。
• 证明小型、未预训练的 Transformer 可在生成任务中超越更大规模、经微调的模型（如 BERT）。

提出的方法

• 引入一种上下文预测任务，利用用户和商品 ID 预测解释序列中的词汇，从而有效将 ID 映射为语义表示。
• 采用多任务目标联合训练，结合解释生成与上下文预测，共享相同的 Transformer 编码器-解码器架构。
• 使用轻量级、两层的未预训练 Transformer，以降低计算成本，同时保持强大性能。
• 将商品特征融入输入，以引导解释生成，实现针对性解释（例如关于价格或风格的解释）。
• 采用共享表示学习机制，使用户和商品 ID 经过嵌入并参与注意力计算，从而在解码过程中影响注意力机制。
• 在推荐头中使用从左到右的掩码机制，防止信息泄露，确保模型从上下文学习，而非依赖未来标记。

实验结果

研究问题

• RQ1 标准 Transformer 是否能通过用户和商品 ID 有效实现自然语言生成的个性化？
• RQ2 引入上下文预测任务是否能使 ID 对解释生成产生有意义的贡献？
• RQ3 统一模型是否能联合完成推荐与解释生成，并在性能上超越微调后的 BERT？
• RQ4 将商品特征融入对生成解释的质量与相关性有何影响？
• RQ5 小型、未预训练的 Transformer 是否能在解释生成任务中超越更大规模、经微调的模型？

主要发现

• PETER 在多个数据集上，所有主要文本生成指标（BLEU、ROUGE 及面向可解释性的指标）上均优于微调后的 BERT。
• 在 TripAdvisor 数据集上，PETER 每个训练轮次仅需 2.3 分钟，尽管未预训练，但训练速度显著快于 ACMLM。
• 禁用上下文预测任务后，解释质量与可解释性均出现显著下降，独特句子比率（USR）接近标准 Transformer 水平。
• PETER+ 在特征引导生成下，能生成更准确且语义相关的解释，例如在正确上下文中聚焦于 'rooms' 而非 'pool'。
• 在大型 Yelp 数据集（130 万条记录）上，PETER 的推荐性能与 SVD++、NRT 和 NETE 等强基线模型相当。
• 消融实验确认，上下文预测任务对个性化至关重要，其移除后不同用户-商品对的解释完全相同。