[論文レビュー] Large Language Model Can Interpret Latent Space of Sequential Recommender

Zhengyi Yang, Jiancan Wu+6 more|arXiv (Cornell University)|Oct 31, 2023

Topic Modeling被引用数 6

ひとこと要約

本稿では、LLaMA などの大規模言語モデル（LLM）がIDベースの順序付きレコメンデーションモデルの潜在表現を解釈・推論できるようにするフレームワーク、RecInterpreterを提案する。軽量アダプタを用いてレコメンデーション埋め込みをLLMのトークン空間にマッピングし、シーケンス回復プロンプトおよびシーケンス残差プロンプトを適用することで、RecInterpreterはLLMが相互作用履歴のテキスト的記述を生成し、生成的レコメンデーションモデルから得られるオラクルアイテムを実装可能にする。これは、LLMが順序付きレコメンデーションモデルの隠れ表現を高い性能で理解・操作可能であることを示している。

ABSTRACT

Sequential recommendation is to predict the next item of interest for a user, based on her/his interaction history with previous items. In conventional sequential recommenders, a common approach is to model item sequences using discrete IDs, learning representations that encode sequential behaviors and reflect user preferences. Inspired by recent success in empowering large language models (LLMs) to understand and reason over diverse modality data (e.g., image, audio, 3D points), a compelling research question arises: ``Can LLMs understand and work with hidden representations from ID-based sequential recommenders?''.To answer this, we propose a simple framework, RecInterpreter, which examines the capacity of open-source LLMs to decipher the representation space of sequential recommenders. Specifically, with the multimodal pairs (\ie representations of interaction sequence and text narrations), RecInterpreter first uses a lightweight adapter to map the representations into the token embedding space of the LLM. Subsequently, it constructs a sequence-recovery prompt that encourages the LLM to generate textual descriptions for items within the interaction sequence. Taking a step further, we propose a sequence-residual prompt instead, which guides the LLM in identifying the residual item by contrasting the representations before and after integrating this residual into the existing sequence. Empirical results showcase that our RecInterpreter enhances the exemplar LLM, LLaMA, to understand hidden representations from ID-based sequential recommenders, especially when guided by our sequence-residual prompts. Furthermore, RecInterpreter enables LLaMA to instantiate the oracle items generated by generative recommenders like DreamRec, concreting the item a user would ideally like to interact with next. Codes are available at https://github.com/YangZhengyi98/RecInterpreter.

研究の動機と目的

• 大規模言語モデル（LLM）が、アイテムIDシーケンスで学習された順序付きレコメンデーションモデルの潜在表現を理解・推論できるかを調査すること。
• LLMと順序付きレコメンデーションモデルの間のギャップを埋め、LLMがアイテムIDシーケンスから導出された隠れ表現を解釈できるようにすること。
• 生成的レコメンデーションモデル（例：DreamRec）が生成するオラクルアイテムを、元の候補セットに存在しない場合でも実装するための手法を提供すること。
• ChatGPTによる人間らしい評価を用いて、LLMの解釈性と順序付きレコメンデーション表現に対する推論能力の実用性を評価すること。

提案手法

• 軽量アダプタを訓練し、順序付きレコメンデーションモデルの潜在表現をLLMのトークン埋め込み空間にマッピングする。
• シーケンス回復プロンプトを用いて、LLMがユーザーの相互作用履歴に含まれるアイテムのテキスト的記述を生成するように促す。
• シーケンス残差プロンプトを用いて、残留アイテムの統合前後における表現を対比させ、LLMが欠落したもしくは残差的なアイテムを特定・記述できるようにする。
• フレームワークはLLaMA-7Bに適用され、推定器（GRU4Rec, Caser, SASRec, DreamRec）とLLMは固定され、ペアドマルチモーダルデータ（表現とテキストナレーション）によるアライメントに依存する。
• DreamRecから得られるオラクルアイテムはRecInterpreterを介して実装され、ChatGPTを用いた人間らしい好み比較により評価され、ユーザーは推薦の中から好ましいアイテムを選択するよう求められる。

実験結果

リサーチクエスチョン

• RQ1 大規模言語モデルは、アイテムIDシーケンスで学習された順序付きレコメンデーションモデルの潜在表現を解釈できるか？
• RQ2 LLMは、レコメンデーションモデルの潜在表現のみを用いて、相互作用履歴の正確なテキスト的記述を生成できるか？
• RQ3 LLMは、統合前の後続の表現と比較することで、シーケンスにおける残差アイテムを特定・記述できるか？
• RQ4 RecInterpreterは、候補アイテムセットに存在しない場合でも、DreamRecのような生成的レコメンデーションモデルのオラクルアイテムを実装できるか？
• RQ5 人間の好み評価において、LLMベースの推薦は従来のレコメンデーション手法と比べてどの程度優れているか？

主な発見

• RecInterpreterは、特に残差表現にガイドされたシーケンス回復プロンプトを用いることで、LLaMAが高精度に相互作用履歴を理解・記述できるようにする。
• シーケンス残差プロンプト戦略により、LLMは残差アイテムを特定・記述でき、欠落したアイテムの潜在表現を効果的にデコードできる。
• MovieLensデータセットではDreamRecから実装されたオラクルアイテムの28.13%、Steamデータセットでは48.67%が元のアイテムセットに存在しなかった。これは、モデルが新規推薦を生成できる能力を示している。
• ChatGPTによる人間らしい好み評価において、MovieLensではDreamRecがSASRecを上回り（50.53% 対 35.79%）、Steamでも同等の性能を示した（48.09% 対 51.15%）。
• 本フレームワークにより、生成的レコメンデーションモデルの約束を実現した。LLMが候補セットを超えてアイテムを実装・記述でき、潜在表現の解釈性と実用性が裏付けられた。