[論文レビュー] RecRanker: Instruction Tuning Large Language Model as Ranker for Top-k Recommendation

Sichun Luo, Bowei He+10 more|arXiv (Cornell University)|Dec 26, 2023

Topic Modeling被引用数 5

ひとこと要約

RecRankerは、トップ-k推薦のための指示微調整済み大規模言語モデル（LLM）フレームワークを導入し、適応的ユーザー抽出、位置シフト型プロンプト設計、従来の推薦モデルからの信号統合を通じて性能を向上させている。ポイントワイズ、ペairワイズ、リストワイズの順位付けタスクをハイブリッド順位付け戦略で統合することで、RecRankerはGPT-3.5-turboおよび標準LLMを上回り、実世界のデータセットにおいてヒット率およびnDCG指標で顕著な向上を示し、最先端の結果を達成した。

ABSTRACT

Large Language Models (LLMs) have demonstrated remarkable capabilities and have been extensively deployed across various domains, including recommender systems. Prior research has employed specialized extit{prompts} to leverage the in-context learning capabilities of LLMs for recommendation purposes. More recent studies have utilized instruction tuning techniques to align LLMs with human preferences, promising more effective recommendations. However, existing methods suffer from several limitations. The full potential of LLMs is not fully elicited due to low-quality tuning data and the overlooked integration of conventional recommender signals. Furthermore, LLMs may generate inconsistent responses for different ranking tasks in the recommendation, potentially leading to unreliable results. In this paper, we introduce extbf{RecRanker}, tailored for instruction tuning LLMs to serve as the extbf{Ranker} for top- extit{k} extbf{Rec}ommendations. Specifically, we introduce an adaptive sampling module for sampling high-quality, representative, and diverse training data. To enhance the prompt, we introduce a position shifting strategy to mitigate position bias and augment the prompt with auxiliary information from conventional recommendation models, thereby enriching the contextual understanding of the LLM. Subsequently, we utilize the sampled data to assemble an instruction-tuning dataset with the augmented prompts comprising three distinct ranking tasks: pointwise, pairwise, and listwise rankings. We further propose a hybrid ranking method to enhance the model performance by ensembling these ranking tasks. Our empirical evaluations demonstrate the effectiveness of our proposed RecRanker in both direct and sequential recommendation scenarios.

研究の動機と目的

• 従来のLLMベースのランカーが単一の順位付けタスクに焦点を当てており、従来の推薦モデルからの信号を無視するというギャップを解消すること。
• 重要度認識型およびクラスタリングベースのユーザー抽出戦略を導入することで、訓練データの質と多様性を向上させること。
• 指示微調整中に位置シフト戦略を適用することで、LLMプロンプトにおける位置バイアスを軽減すること。
• 協調フィルタリングモデルからの補助信号を自然言語プロンプトに統合することで、LLMの推論能力を向上させること。
• ポイントワイズ、ペアワイズ、リストワイズの順位付けヘッドをアンサンブルするハイブリッド順位付け法を開発し、推薦パフォーマンスを向上させること。

提案手法

• 適応的ユーザー抽出は、高相互作用ユーザーおよび代表的ユーザーを選択することで、指示微調整データセットにおけるデータ品質と多様性を確保する。
• 推論中に位置バイアスを軽減するために、プロンプトに位置シフト戦略を適用し、順位付け結果の公平性を向上させる。
• 従来の推薦モデル（例：MF, LightGCN）からの補助信号を自然言語の記述を用いてプロンプトに統合し、文脈を豊かにする。
• ポイントワイズ、ペアワイズ、リストワイズの3つの異なる順位付けタスクを備えた、拡張されたプロンプトを含む指示微調整データセットを構築する。
• ハイブリッド順位付け法は、重み付きアンサンブルにより、3つの順位付けヘッドの予測を統合し、全体の推薦精度を向上させる。
• データセットサイズに比例してスケーリングされたハイパーパramータを用いて、LLaMA-2モデルを収集済みデータセット上で指示微調整する。

実験結果

リサーチクエスチョン

• RQ1 ポイントワイズ、ペアワイズ、リストワイズの複数の順位付けタスクを1つの指示微調整済みLLMに統合することで、トップ-k推薦パフォーマンスが向上するか？
• RQ2 従来の推薦モデルからの補助信号の統合が、LLMベースの順位付け品質に与える影響は何か？
• RQ3 適応的ユーザー抽出が、コールドスタートまたは低相互作用ユーザーにおけるモデルの一般化能力とパフォーマンスにどの程度向上効果をもたらすか？
• RQ4 プロンプトにおける位置シフトが、LLMが生成する順位付けにおける位置バイアスを効果的に軽減するか？
• RQ5 実世界の推薦ベンチマークにおいて、指示微調整済みLLMのパフォーマンスは、GPT-3.5-turboのような特許取得済みLLMと比較してどうなるか？

主な発見

• LLaMA-2（13B）モデルは、すべての指標で7Bバージョンを上回り、モデルスケールの増大が推論能力および順位付けパフォーマンスを向上させることを示した。
• ハイブリッド順位付け法が、すべての評価指標で最高のパフォーマンスを達成し、H@3およびN@3で顕著な向上を示した。これは、マルチタスク学習の利点を裏付けた。
• 訓練用インstructioins数を5.6Kから56Kに増加させたことで、一貫したパフォーマンス向上が得られ、データ規模が指示微調整済みLLMの性能に顕著に影響することを示した。
• RecRankerはBookcrossingデータセットにおいてGPT-3.5-turboを上回り、推薦タスクにおける指示微調整の有効性を検証した。
• ML-100Kデータセットでは、56Kのインstructioinsを用いてH@3が0.0533、N@3が0.0368を達成し、標準ベンチマークデータセットでも優れたパフォーマンスを示した。
• 推論時間は1つのA800 GPUあたり1アイテムあたり平均0.059秒であったが、16台のA800で訓練すると約4.6時間かかった。これは、高い計算コストを示している。