[論文レビュー] Enhancing Recommender Systems with Large Language Model Reasoning Graphs

Yan Wang, Zhixuan Chu+11 more|arXiv (Cornell University)|Aug 21, 2023

Topic Modeling被引用数 13

ひとこと要約

本研究は LLMRGs を提案する。大規模言語モデルを用いてユーザープロファイルと行動を結ぶ個別化推論グラフを構築し、グラフ埋め込みを標準のリコメンダーと融合して性能と解釈性を向上させる。

ABSTRACT

Recommendation systems aim to provide users with relevant suggestions, but often lack interpretability and fail to capture higher-level semantic relationships between user behaviors and profiles. In this paper, we propose a novel approach that leverages large language models (LLMs) to construct personalized reasoning graphs. These graphs link a user's profile and behavioral sequences through causal and logical inferences, representing the user's interests in an interpretable way. Our approach, LLM reasoning graphs (LLMRG), has four components: chained graph reasoning, divergent extension, self-verification and scoring, and knowledge base self-improvement. The resulting reasoning graph is encoded using graph neural networks, which serves as additional input to improve conventional recommender systems, without requiring extra user or item information. Our approach demonstrates how LLMs can enable more logical and interpretable recommender systems through personalized reasoning graphs. LLMRG allows recommendations to benefit from both engineered recommendation systems and LLM-derived reasoning graphs. We demonstrate the effectiveness of LLMRG on benchmarks and real-world scenarios in enhancing base recommendation models.

研究の動機と目的

• ユーザーの行動とプロファイルにおけるより高次の概念的関係を捉えるために LLMs の活用を動機づける。
• 個別化推論グラフを構築するための四モジュールアーキテクチャ（連鎖推論、発散拡張、自己検証、知識ベース自己改善）を提案する。
• 推論グラフをグラフニューラルネットワークでエンコードし、追加データなしで基礎となる逐次推奨器と融合する。
• 実世界データセット上で複数のベースライン推奨器に対してプラグアンドプレイ的改善を実証する。

提案手法

• ユーザーのインタラクション系列と属性から個別化推論グラフを構築するために LLM を用いる。
• 連鎖的グラフ推論を適用して、アイテムを因果的/論理的リンクで結ぶ推論チェーンを構築する。
• 発散拡張を用いて推論チェーンを想像力豊かに拡張し、追加で起こりうるアイテムを推定する。
• 帰納的推論とマスキングを用いた一貫性を評価する自己検証とスコアリングを組み込む。
• 検証済み推論チェーンを知識ベースにキャッシュして、高品質なチェーンを再利用することで繰り返しの LLM 使用を削減する。
• SR-GNN でグラフをエンコードしてグラフ埋め込みを取得し、これを基モデルの埋め込みと融合して次のアイテムを予測する。

実験結果

リサーチクエスチョン

• RQ1 LLM由来の推論グラフは既存の逐次リコメンダーシステムの予測精度を向上させることができるか。
• RQ2 連鎖推論、発散拡張、自己検証、知識ベースキャッシュの組み合わせは解釈可能でスケーラブルな推奨を生み出すか。
• RQ3 LLM の能力（例：GPT-4 と GPT-3.5） が推論グラフの利得にどう影響するか。
• RQ4 知識ベース自己改善コンポーネントが言語モデルの使用量と推奨品質に与える影響は何か。

主な発見

• LLMRG は複数のデータセットで強力なベースラインに対して推奨性能を向上させる。
• GPT-4 ベースの LLMRG は一貫して GPT-3.5 ベースの LLMRG を上回る。
• 推論グラフの組み込みは、推奨の背後にある明示的な推論を表面化することにより解釈性を提供する。
• 高品質なチェーンをキャッシュすることで extensive reasoning 後に約 30% の言語モデル使用量を削減する、知識ベース自己改善。
• アブレーション研究は、発散拡張と自己検証モジュールが性能に意味のある寄与をすることを示し、検証は特に GPT-3.5 で有益である。
• ML-1M（映画）データセットで性能向上が大きく、より豊かな意味的関係がより強い推論利得を生むことを示唆する。