[論文レビュー] Embedding in Recommender Systems: A Survey

Maolin Wang, Xinjian Zhao+10 more|arXiv (Cornell University)|Oct 28, 2023

Recommender Systems and Techniques被引用数 6

ひとこと要約

本サーベイは、推薦システムにおける埋め込み技術について包括的な概要を提供しており、協調フィルタリング、自己教師あり学習、グラフベース手法、および新たな大規模言語モデル（LLM）を活用したアプローチをカバーしている。スケーラビリティにおける革新、例えばAutoML、ハッシング、量子化についても強調し、埋め込みベースの推薦システムにおける主な課題と今後の方向性を特定している。

ABSTRACT

Recommender systems have become an essential component of many online platforms, providing personalized recommendations to users. A crucial aspect is embedding techniques that convert the high-dimensional discrete features, such as user and item IDs, into low-dimensional continuous vectors, which can enhance the recommendation performance. Embedding techniques have revolutionized the capture of complex entity relationships, generating significant research interest. This survey presents a comprehensive analysis of recent advances in recommender system embedding techniques. We examine centralized embedding approaches across matrix, sequential, and graph structures. In matrix-based scenarios, collaborative filtering generates embeddings that effectively model user-item preferences, particularly in sparse data environments. For sequential data, we explore various approaches including recurrent neural networks and self-supervised methods such as contrastive and generative learning. In graph-structured contexts, we analyze techniques like node2vec that leverage network relationships, along with applicable self-supervised methods. Our survey addresses critical scalability challenges in embedding methods and explores innovative directions in recommender systems. We introduce emerging approaches, including AutoML, hashing techniques, and quantization methods, to enhance performance while reducing computational complexity. Additionally, we examine the promising role of Large Language Models (LLMs) in embedding enhancement. Through detailed discussion of various architectures and methodologies, this survey aims to provide a thorough overview of state-of-the-art embedding techniques in recommender systems, while highlighting key challenges and future research directions.

研究の動機と目的

• 現代の推薦システムで用いられる最先端の埋め込み技術について、体系的なレビューを提供すること。
• 協調フィルタリング、自己教師あり学習、グラフベース手法の有効性と限界を分析し、ユーザーとアイテムの関係を捉える能力を評価すること。
• スケーラビリティと効率を向上させるために、AutoML、ハッシング、量子化といった新技術の有効性を調査すること。
• 大規模言語モデル（LLMs）と埋め込みを統合することで、推薦パフォーマンスと説明可能性を向上させる方法を検討すること。
• 特に効率性、解釈可能性、バイアス低減の観点から、埋め込みベースの推薦システムにおける未解決の課題と今後の研究方向性を特定すること。

提案手法

• 埋め込み技術を協調フィルタリング（例：行列分解、因子分解機械）、自己教師あり学習（例：対照的学習、生成的学習）、グラフベース手法（例：node2vec、グラフオートエンコーダ）に分類する。
• ラベルなしで強力な埋め込みを学習できるように、データ拡張と対照的または生成的目的関数を活用する自己教師あり学習戦略をレビューする。
• ユーザーとアイテムの相互作用を異種ネットワークとしてモデル化し、ノードレベルの表現を通じて複雑な構造的関係を捉えるグラフベース手法を検討する。
• AutoMLによるハイパーパrameter最適化、ハッシングによるコンact表現、量子化によるメモリと推論コストの削減といった、スケーラビリティを高める技術を分析する。
• プロンプト（例：ChatRec）や微調整（例：PEPLER、PPR）により埋め込みを生成するLLMベースのアプローチを調査し、ユーザー／アイテムIDを学習可能なトークンとして扱う。
• 二段階微調整戦略（例：PEPLER）を評価し、次トークン予測とレーティング予測を組み合わせ、NLLとMSE損失を用いる。

実験結果

リサーチクエスチョン

• RQ1 協調フィルタリング、自己教師あり学習、グラフベース手法は、ユーザーとアイテムの相互作用をモデル化し、複雑な関係を捉える能力において、どのように異なるか？
• RQ2 埋め込みベースの推薦システムのスケーリングにおける主な課題は何であり、ハッシングや量子化といった技術がそれらをどのように解決するか？
• RQ3 大規模言語モデル（LLMs）を効果的に埋め込みベースの推薦システムに統合することで、パフォーマンスと説明可能性を向上させることは可能か？
• RQ4 AutoML、ハッシング、量子化を埋め込みモデルに適用する際の、モデルの正確性、計算コスト、推論速度のトレードオフは何か？
• RQ5 LLMを活用した埋め込みにおける未解決の課題、特にバイアス、リソース要件、リアルタイムデプロイメントの観点から、何が挙げられるか？

主な発見

• 特に行列分解や因子分解機械といった協調フィルタリング手法は、スパースなデータ環境下でもユーザーとアイテムの好みを効果的に捉え、コールドスタート問題に対しても有効である。
• 対照的学習や生成的学習といった自己教師あり学習技術は、タスク間で優れた一般化性能を示すが、安定した学習のためにはデータ拡張と損失関数の設計に注意が必要である。
• node2vec やグラフオートエンコーダのようなグラフベース手法は、複雑なネットワーク構造を効果的にモデル化し、ユーザー同士・アイテム同士の関係を通じて補助情報を統合できる。
• 量子化やハッシングといった技術は、メモリと計算コストを顕著に削減でき、リソース制約のある環境でのデプロイを可能にする。
• PEPLER や PPR といった LLM を活用した埋め込み手法は、自己教師あり微調整により説明可能性とパフォーマンスを向上させ、説明と予測の整合性を高めている。
• その可能性にかかわらず、LLMベースの埋め込みは、高い計算リソース要件、潜在的なバイアス（例：性別バイアス）、リアルタイムシステムへの統合の複雑さといった課題に直面している。