[論文レビュー] LKPNR: LLM and KG for Personalized News Recommendation Framework

Hao Chen, Xie Runfeng+5 more|arXiv (Cornell University)|Aug 23, 2023

Topic Modeling被引用数 7

ひとこと要約

本稿では、ニュース本文の深い意味的理解のための大規模言語モデル（LLM）と、ニュースエンティティ間のマルチホップ構造的関係を捉えるための知識グラフ（KG）を統合する、新しいパーソナライズドニュース推薦フレームワークLKPNRを提案する。LLMが生成する文脈的表現とKGで拡張されたエンティティ特徴量を、マルチヘッドアテンションを用いて統合することで、特にロングテールアイテムにおいて顕著に推薦性能が向上し、MINDデータセットにおいて従来のモデルを上回る性能を発揮する。

ABSTRACT

Accurately recommending candidate news articles to users is a basic challenge faced by personalized news recommendation systems. Traditional methods are usually difficult to grasp the complex semantic information in news texts, resulting in unsatisfactory recommendation results. Besides, these traditional methods are more friendly to active users with rich historical behaviors. However, they can not effectively solve the "long tail problem" of inactive users. To address these issues, this research presents a novel general framework that combines Large Language Models (LLM) and Knowledge Graphs (KG) into semantic representations of traditional methods. In order to improve semantic understanding in complex news texts, we use LLMs' powerful text understanding ability to generate news representations containing rich semantic information. In addition, our method combines the information about news entities and mines high-order structural information through multiple hops in KG, thus alleviating the challenge of long tail distribution. Experimental results demonstrate that compared with various traditional models, the framework significantly improves the recommendation effect. The successful integration of LLM and KG in our framework has established a feasible path for achieving more accurate personalized recommendations in the news field. Our code is available at https://github.com/Xuan-ZW/LKPNR.

研究の動機と目的

• ニュース本文からの複雑な意味的特徴を捉えることが難しい従来のニュース推薦モデルの限界を解消すること。
• より人気のない、アクティブユーザーが対象とされないニュースアイテムの表現学習を向上させることで、ロングテール問題を軽減すること。
• 大規模言語モデル（LLM）と知識グラフ（KG）を統合した包括的なフレームワークを構築し、ニュースおよびユーザー表現の向上を図ること。
• モジュラー設計により、既存の一般的なニュース推薦モデルとの柔軟な統合を可能にすること。
• LLMからの文脈的意味とKGからの構造的関係を活用することで、推薦精度の向上を実現すること。

提案手法

• ニュースの見出しおよび要約の文脈的で豊かな意味的表現を生成するため、大規模言語モデル（LLM）を活用し、深い言語的知識と世界知識を捉える。
• マルチホップ知識グラフ推論を実行して、ニュースエンティティからの高次構造的情報を抽出するKG拡張エンコーダーを採用する。
• KG内の隣接エンティティを動的に重みづけするためのマルチヘッドクエリプロジェクションを適用し、多様で協調的な情報統合を可能にする。
• アテンションメカニズムを用いて、LLMが生成するニュース表現とKGで拡張されたエンティティ特徴量を統合し、全体的なニュース表現を強化する。
• セマンティックおよび構造的強化モジュールとしての役割を果たすことで、さまざまな一般的なニュース推薦モデルへのプラグアンドプレイ統合をサポートする。
• LLMでマッピングされたクエリが、標準的なエンコーダークエリよりも関連するKG近傍を効果的に検索できることを示す、リtrieバルベースのクエリメカニズムを採用する。

Figure 1: Differences between traditional news recommendation model (a) and LKPNR framework (b)

実験結果

リサーチクエスチョン

• RQ1 LLMは、従来のテキストエンコーダーを上回るニュース表現の意味的豊かさを向上させることができるか？
• RQ2 マルチホップ知識グラフ推論は、パーソナライズド推薦におけるロングテールニュースアイテムの表現を向上させることができるか？
• RQ3 LLMとKGの統合は、単体でのモデルと比較して推薦パフォーマンスにどのように影響を与えるか？
• RQ4 KGクエリにおいてマルチヘッドアテンションを用いることで、隣接エンティティからの協調的シグナルの捉え込み能力が向上するか？
• RQ5 提案されたフレームワークは、既存の一般的なニュース推薦モデルと柔軟に組み合わせられ、パフォーマンスを向上させることができるか？

主な発見

• LLMでマッピングされたクエリは、一般的なニュースエンコーダークエリを上回り、関連するKGエンティティの検索において優れた意味的整合性を示した。
• KG拡張エンコーダーにおいて3つのアテンションヘッド（num_head=3）を用いることで、最高のリtrieバルパフォーマンスが達成され、最適な表現空間の拡張が示された。
• LLMとKGの統合により、MINDデータセットにおける推薦パフォーマンスが顕著に向上し、従来のベースラインモデルを上回った。
• テキスト的類似性が低い場合でも、KGの近傍エンティティを通じて、候補ニュースとユーザー履歴の間の潜在的関係を効果的に捉えることができた。
• 可視化結果から、テキスト的相関が低い候補ニュースでも、関連性の高いKG近傍が存在する場合、高い一致スコアを達成できることを確認した。
• 構造的グラフ情報を利用することで、人気のないニュースアイテムの表現学習を強化し、ロングテール問題を軽減できた。

Figure 2: The framework of LKPNR. The lower left corner of figure is the input news data into LKPNR, where the words marked in yellow indicates the entities. Candidate news is encoded by LK-Aug news encoder that combines LLM and KG with traditional general news encoder to obtain news representation.