[論文レビュー] RecMind: Large Language Model Powered Agent For Recommendation

Yan-Cheng Wang, Ziyan Jiang+8 more|arXiv (Cornell University)|Aug 28, 2023

Topic ModelingComputer Science被引用数 3

ひとこと要約

RecMind は、自己啓発的計画、記憶の統合、ツールの使用を通じて、パーソナライズドレコメンデーションを強化する大規模言語モデル駆動の自律エージェントである。RecMind はゼロ/少数ショット LLM ベースラインを上回り、完全微調整されたエキスパートモデル（P5）と同等の性能を達成しており、レーティング予測、順序推薦、説明生成、レビュー要約の各タスクで優れた結果を示している。

ABSTRACT

While the recommendation system (RS) has advanced significantly through deep learning, current RS approaches usually train and fine-tune models on task-specific datasets, limiting their generalizability to new recommendation tasks and their ability to leverage external knowledge due to model scale and data size constraints. Thus, we designed an LLM-powered autonomous recommender agent, RecMind, which is capable of leveraging external knowledge, utilizing tools with careful planning to provide zero-shot personalized recommendations. We propose a Self-Inspiring algorithm to improve the planning ability. At each intermediate step, the LLM self-inspires to consider all previously explored states to plan for the next step. This mechanism greatly improves the model's ability to comprehend and utilize historical information in planning for recommendation. We evaluate RecMind's performance in various recommendation scenarios. Our experiment shows that RecMind outperforms existing zero/few-shot LLM-based recommendation baseline methods in various tasks and achieves comparable performance to a fully trained recommendation model P5.

研究の動機と目的

• LLM を用いたパーソナライズドレコメンデーションタスクにおける推論力とツール利用の活用のギャップを埋めるため。
• 履歴の推論経路を保持・統合することで、レコメンデーションのためのエージェントの計画能力を向上させるため。
• タスク固有の微調整なしに、レコメンデーションタスク（例：レーティング予測、説明生成）の一般化を可能にするため。
• 自己啓発的計画の有効性が、レコメンデーションの正確性と説明品質を向上させるかどうかを評価するため。

提案手法

• 計画、記憶（パーソナライズドおよび世界知識）、外部知識取得のためのツールを備えた自律エージェントフレームワークを設計。
• 各計画ステップで以前に探索されたすべての推論状態を保持・統合することで、意思決定の質を向上させる自己啓発的（SI）計画を導入。
• レコメンデーションタスクにおける構造的でマルチステップの推論を実現するため、思考-行動-観察（TAO）フレームワークを採用。
• パーソナライズド記憶（ユーザー固有のデータ）と世界知識（外部ツール）を活用して、関連性と正確性を向上。
• ドメイン内例を用いた少数ショットプロンプティングにより、ゼロ/少数ショットの一般化性能を向上させ、特にクロスドメイン設定で有効。
• サブオプティマルな推論経路を除外するための投票ベースの評価者を採用し、計画のロバスト性を向上。

実験結果

リサーチクエスチョン

• RQ1 自己啓発的計画を備えた LLM ベースのエージェントは、従来のチェーン・オブ・トゥグラム（CoT）やツリー・オブ・トゥグラム（ToT）手法を上回る性能を示せるか？
• RQ2 自己啓発的計画メカニズムは、履歴の推論経路を統合することで、レコメンデーションの正確性をどの程度向上できるか？
• RQ3 少数ショット例とドメイン内知識を用いることで、RecMind は未学習ドメインにどの程度一般化できるか？
• RQ4 完全微調整モデル（P5）や少数ショット LLM ベースラインと比較して、RecMind の説明品質と論理的整合性はどの程度高いか？

主な発見

• RecMind-SI は、ビューティドメインからトゥイズ＆スポーツドメインへの移行において、レーティング予測で MAE 0.6245 を達成し、P5（0.7013）および ChatGPT（0.6895）を上回った。
• RecMind-SI はスポーツドメインにおける直接的レコメンデーションで HR@5 0.1124 を達成し、P5（0.1007）および ChatGPT（0.0721）を上回った。
• 説明生成において、RecMind-SI はスポーツドメインで BLEU2 スコア 1.0537 を達成し、P5（0.8924）および ChatGPT（0.8795）を上回った。
• 人間評価では、RecMind-SI が説明順位のトップ1比率平均 34.7% を達成し、P5（3.7%）および ChatGPT（18.7%）を著しく上回った。
• 説明生成およびレビュー要約を含むすべてのタスクにおいて、RecMind-SI は完全事前学習済みの P5 モデルと同等の性能を示した。
• 自己啓発的メカニズムは、ToT や CoT よりも優れた推論経路統合を実現しており、図1におけるレーティング予測の正確性向上が確認された。