[论文解读] Faithful Path Language Modeling for Explainable Recommendation over Knowledge Graph

Giacomo Balloccu, Ludovico Boratto+3 more|arXiv (Cornell University)|Oct 25, 2023

Advanced Graph Neural Networks被引用 4

一句话总结

PEARLM 引入了一种知识图谱约束解码机制（KGCD），通过在解码过程中强制执行有效的知识图谱连接，确保可解释推荐系统中路径生成的忠实性与无幻觉性。通过将直接标记嵌入学习与KGCD相结合，PEARLM 在推荐准确率和解释忠实性方面达到最先进水平，同时消除错误路径，且保持模型无关性，适用于资源受限环境。

ABSTRACT

The integration of path reasoning with language modeling in recommender systems has shown promise for enhancing explainability but often struggles with the authenticity of the explanations provided. Traditional models modify their architecture to produce entities and relations alternately--for example, employing separate heads for each in the model--which does not ensure the authenticity of paths reflective of actual Knowledge Graph (KG) connections. This misalignment can lead to user distrust due to the generation of corrupted paths. Addressing this, we introduce PEARLM (Path-based Explainable-Accurate Recommender based on Language Modelling), which innovates with a Knowledge Graph Constraint Decoding (KGCD) mechanism. This mechanism ensures zero incidence of corrupted paths by enforcing adherence to valid KG connections at the decoding level, agnostic of the underlying model architecture. By integrating direct token embedding learning from KG paths, PEARLM not only guarantees the generation of plausible and verifiable explanations but also highly enhances recommendation accuracy. We validate the effectiveness of our approach through a rigorous empirical assessment, employing a newly proposed metric that quantifies the integrity of explanation paths. Our results demonstrate a significant improvement over existing methods, effectively eliminating the generation of inaccurate paths and advancing the state-of-the-art in explainable recommender systems.

研究动机与目标

• 解决基于语言模型的可解释推荐系统中的路径幻觉问题。
• 确保生成的解释路径在底层知识图谱中具有事实依据，从而提升用户信任度与系统可靠性。
• 开发一种模型无关的解码机制，通过不修改模型架构即可强制实现知识图谱的有效性。
• 通过直接从知识图谱路径学习嵌入向量，提升推荐准确率，同时增强解释的实用性和忠实性。
• 通过一种新型度量指标验证该方法的有效性，该指标用于衡量路径完整性和用户信任度。

提出的方法

• 提出知识图谱约束解码（KGCD），一种在解码阶段强制执行有效知识图谱转换（实体-关系交替）的机制，用于序列生成。
• 采用因果语言建模范式，生成在实体与关系之间交替的序列，其结构与知识图谱路径保持一致。
• 利用直接标记嵌入学习方法对知识图谱中的实体和关系进行表示学习，提升表示质量与模型性能。
• 引入一种新型度量指标，用于量化路径完整性，衡量生成解释中错误路径的出现频率。
• 在推理阶段应用KGCD，确保所有生成的路径均有效，无论模型架构或训练过程如何。
• 通过用户调查验证方法效果，评估路径幻觉对用户信任度与满意度的影响。

实验结果

研究问题

• RQ1 KGCD在多大程度上消除了可解释推荐系统中错误或幻觉路径的生成？
• RQ2 从知识图谱路径中直接学习标记嵌入对推荐准确率和解释忠实性有何影响？
• RQ3 模型规模与样本数量对PEARLM性能的影响如何，特别是在路径长度（3跳 vs. 5跳）方面的表现？
• RQ4 路径幻觉如何影响推荐系统中用户的信任度与满意度？
• RQ5 KGCD机制是否可应用于现有基于路径的语言模型而无需修改其架构？

主要发现

• PEARLM 通过在解码过程中强制执行有效的知识图谱转换，成功消除了错误路径的生成，该结果由新型路径完整性度量指标验证。
• 该模型在推荐性能方面达到最先进水平，其中 distilPEARLM 在 ML1M 和 LFM1M 数据集上于最优样本量下表现优于更大的模型变体。
• 3跳路径的性能优于5跳路径，表明路径长度增加会引入噪声并降低泛化能力。
• 直接标记嵌入学习是性能提升的主要驱动力，显著优于传统方法。
• 用户调查结果证实，幻觉路径会严重削弱用户信任，验证了解释忠实性的必要性。
• KGCD 具备模型无关性，可应用于任何基于路径的语言模型，以确保解释可靠性，且无需修改模型架构。