[論文レビュー] Large Language Models for Generative Recommendation: A Survey and Visionary Discussions

Lei Li, Yongfeng Zhang+2 more|arXiv (Cornell University)|Sep 3, 2023

Topic Modeling被引用数 11

ひとこと要約

大規模言語モデルが単一段階の生成型推奨システムとして機能する方法の調査であり、定義、ID構築、タスクの定式化、そして今後の方向性を概説する。

ABSTRACT

Large language models (LLM) not only have revolutionized the field of natural language processing (NLP) but also have the potential to reshape many other fields, e.g., recommender systems (RS). However, most of the related work treats an LLM as a component of the conventional recommendation pipeline (e.g., as a feature extractor), which may not be able to fully leverage the generative power of LLM. Instead of separating the recommendation process into multiple stages, such as score computation and re-ranking, this process can be simplified to one stage with LLM: directly generating recommendations from the complete pool of items. This survey reviews the progress, methods, and future directions of LLM-based generative recommendation by examining three questions: 1) What generative recommendation is, 2) Why RS should advance to generative recommendation, and 3) How to implement LLM-based generative recommendation for various RS tasks. We hope that this survey can provide the context and guidance needed to explore this interesting and emerging topic.

研究の動機と目的

• 推奨システムがなぜLLMsを用いた生成型・単一段階推奨へ移行すべきかを動機づける。
• アイテム/アイテム-ユーザーIDをLLMsと互換性のあるトークン列へ一般化し、巨大なアイテムプール上での生成を可能にする。
• 一般的なRSタスク（評価、Top-N、系列、説明可能性、レビュー関連、対話型）をLLMフレームワーク内で体系的に分類・定式化する。
• LLMベースの生成型推奨の実装におけるID作成手法と実務上の配慮について指針を提供する。
• 幻覚、バイアス、透明性、制御性、効率性、マルチモーダル拡張などの課題と機会について論じる。

提案手法

• 完全なアイテムプールから直接推奨を生成することを、マルチステージのスコアリングの代わりに生成的推奨として定義する。
• エンティティを一意に識別するトークン列として、ユーザー/アイテムの一般化されたID定義を提案する。
• 三つのID作成アプローチをレビューする（SVDベースのID、PQベースのID、階層的アイテムグラフによる協調インデクシング）。
• タスクプロンプトとID表現を用いて、一般的なRSタスクへLLMsを適用するための一般的な定式化を提示する。
• 評価プロトコルと、異なる生成タスク（評価、Top-N、逐次、説明、レビュー、要約、対話設定）に対する実務的な考慮事項を概説する。

Figure 1: Pipeline comparison between traditional recommender systems and LLM-based generative recommendation.

実験結果

リサーチクエスチョン

• RQ1 生成的推奨とは何か、なぜRSは従来の判別的パイプラインよりもそれを採用すべきか？
• RQ2 協調情報を保持し、実世界のアイテムプールにスケールさせるために、LLMに適した方法でIDをどのように作成できるか？
• RQ3 典型的なRSタスクをLLMベースの生成フレームワーク内でどのように定式化・解決できるか？
• RQ4 LLMベースの生成型推奨を進化させる上での主要な課題と方向性は何か？

主な発見

• LLMsは多段階のフィルタリングを直接アイテムIDを出力する単一段階の生成プロセスに置換する可能性がある。
• LLMsに適したコンパクトで一意なアイテム/ユーザー表現を可能にする三つのID作成戦略：SVDベースのID、PQベースのID、階層的協調インデクシング。
• さまざまなRSタスク（評価、Top-N、逐次、説明可能、レビュー関連、対話型）は、LLMsにIDや内容を生成させるよう指示するプロンプトとして定式化できる。
• 評価手法には、ランキングの伝統的指標と、自然言語出力の生成指標（BLEU/ROUGE/BERTScore）が含まれ、これらの限界とより良い標準の必要性が認識されている。
• 本論文は、幻覚、偏り、透明性、制御性、効率性といった実装上の実践的課題を、LLMベースのRSを展開する上での中心的な課題として論じている。
• マルチモーダル拡張は、非テキストデータをLLMベースの推奨に組み込む将来の有望な研究領域として特定されている。