[论文解读] LKPNR: LLM and KG for Personalized News Recommendation Framework

Hao Chen, Xie Runfeng+5 more|arXiv (Cornell University)|Aug 23, 2023

Topic Modeling被引用 7

一句话总结

本文提出 LKPNR，一种新颖的个性化新闻推荐框架，通过整合大型语言模型（LLM）实现对新闻文本的深层语义理解，并结合知识图谱（KG）捕捉新闻实体之间的多跳结构关系。通过使用多头注意力机制将 LLM 生成的上下文表征与 KG 增强的实体特征进行融合，LKPNR 显著提升了推荐性能，尤其在长尾项目上表现突出，在 MIND 数据集上超越了传统模型。

ABSTRACT

Accurately recommending candidate news articles to users is a basic challenge faced by personalized news recommendation systems. Traditional methods are usually difficult to grasp the complex semantic information in news texts, resulting in unsatisfactory recommendation results. Besides, these traditional methods are more friendly to active users with rich historical behaviors. However, they can not effectively solve the "long tail problem" of inactive users. To address these issues, this research presents a novel general framework that combines Large Language Models (LLM) and Knowledge Graphs (KG) into semantic representations of traditional methods. In order to improve semantic understanding in complex news texts, we use LLMs' powerful text understanding ability to generate news representations containing rich semantic information. In addition, our method combines the information about news entities and mines high-order structural information through multiple hops in KG, thus alleviating the challenge of long tail distribution. Experimental results demonstrate that compared with various traditional models, the framework significantly improves the recommendation effect. The successful integration of LLM and KG in our framework has established a feasible path for achieving more accurate personalized recommendations in the news field. Our code is available at https://github.com/Xuan-ZW/LKPNR.

研究动机与目标

• 解决传统新闻推荐模型在捕捉新闻文本复杂语义特征方面的局限性。
• 通过提升针对不活跃用户目标的冷门新闻项目的表征学习能力，缓解长尾问题。
• 将大型语言模型（LLM）与知识图谱（KG）整合到统一框架中，以增强新闻与用户表征。
• 通过模块化设计，实现与现有通用新闻推荐模型的灵活集成。
• 通过结合 LLM 的上下文语义信息与 KG 的结构关系，提升推荐准确性。

提出的方法

• 利用大型语言模型（LLM）生成新闻标题与摘要的丰富、上下文感知的语义表征，捕捉深层语言与世界知识。
• 采用 KG 增强编码器，执行多跳知识图谱推理，从新闻实体中提取高阶结构信息。
• 应用多头查询投影，动态加权 KG 中的邻近实体，实现多样化且协作的信息融合。
• 通过注意力机制将 LLM 生成的新闻表征与 KG 增强的实体特征进行融合，以增强整体新闻表征。
• 通过作为语义与结构增强模块，支持与多种通用新闻推荐模型的即插即用式集成。
• 采用基于检索的查询机制，其中 LLM 映射的查询在检索相关 KG 邻居方面优于标准编码器查询。

Figure 1: Differences between traditional news recommendation model (a) and LKPNR framework (b)

实验结果

研究问题

• RQ1 LLM 是否能在语义丰富度上超越传统文本编码器，提升新闻表征质量？
• RQ2 多跳知识图谱推理是否能增强个性化推荐中长尾新闻项目的表征能力？
• RQ3 与独立使用 LLM 或 KG 的模型相比，LLM 与 KG 的集成如何影响推荐性能？
• RQ4 在 KG 查询中使用多头注意力是否能提升模型捕捉邻近实体协作信号的能力？
• RQ5 所提出的框架是否能灵活集成到现有通用新闻推荐模型中，以提升性能？

主要发现

• LLM 映射的查询在检索相关 KG 实体方面优于通用新闻编码器查询，证明了更优的语义对齐能力。
• 在 KG 增强编码器中使用三个注意力头（num_head=3）时，检索性能达到最高，表明表征空间扩展达到最优。
• LLM 与 KG 的集成在 MIND 数据集上显著提升了推荐性能，超越了传统基线模型。
• 该框架能有效捕捉候选新闻与用户历史记录之间的潜在关联，即使在文本相似度较低的情况下也能实现。
• 可视化结果表明，当存在高相关性 KG 邻居时，即使候选新闻与用户历史在文本上相关性较低，仍能获得高匹配分数。
• 该模型通过利用结构化图信息，增强了对冷门新闻项目的表征学习，从而有效缓解了长尾问题。

Figure 2: The framework of LKPNR. The lower left corner of figure is the input news data into LKPNR, where the words marked in yellow indicates the entities. Candidate news is encoded by LK-Aug news encoder that combines LLM and KG with traditional general news encoder to obtain news representation.