[論文レビュー] Towards Open-World Recommendation with Knowledge Augmentation from Large Language Models

Yunjia Xi, Weiwen Liu+9 more|arXiv (Cornell University)|Jun 19, 2023

Topic Modeling被引用数 7

ひとこと要約

本論文は、大規模言語モデル（LLMs）を活用してユーザーの好みに関する推論知識とアイテムに関する事実知識を抽出することで、オープンワールドの知識をレコメンデーションシステムに統合するKARというフレームワークを提案する。要因分解プロンプティングとハイブリッドエキスパートアダプタを用いて、LLMの出力をコンパクトでタスクに適合したベクトルに変換し、オンラインA/Bテストで7%および1.7%の向上を達成するが、事前に保存された知識により推論遅延を低く保つ。

ABSTRACT

Recommender systems play a vital role in various online services. However, the insulated nature of training and deploying separately within a specific domain limits their access to open-world knowledge. Recently, the emergence of large language models (LLMs) has shown promise in bridging this gap by encoding extensive world knowledge and demonstrating reasoning capability. Nevertheless, previous attempts to directly use LLMs as recommenders have not achieved satisfactory results. In this work, we propose an Open-World Knowledge Augmented Recommendation Framework with Large Language Models, dubbed KAR, to acquire two types of external knowledge from LLMs -- the reasoning knowledge on user preferences and the factual knowledge on items. We introduce factorization prompting to elicit accurate reasoning on user preferences. The generated reasoning and factual knowledge are effectively transformed and condensed into augmented vectors by a hybrid-expert adaptor in order to be compatible with the recommendation task. The obtained vectors can then be directly used to enhance the performance of any recommendation model. We also ensure efficient inference by preprocessing and prestoring the knowledge from the LLM. Extensive experiments show that KAR significantly outperforms the state-of-the-art baselines and is compatible with a wide range of recommendation algorithms. We deploy KAR to Huawei's news and music recommendation platforms and gain a 7\% and 1.7\% improvement in the online A/B test, respectively.

研究の動機と目的

• レコメンデーションシステムが学習ドメインを超えた外部世界の知識にアクセスできない閉世界の限界を是正する。
• レコメンデーションの目的と整合性が低いままの直接的なLLM微調整やプロンプトの性能が低いことの是正。
• ユーザー好みに関する推論知識とアイテムに関する事実知識という2種類の外部知識を能動的に取得することで、オープンワールドレコメンデーションを実現する。
• 推論の前処理と事前の保存により、LLMが生成した知識ベクトルを事前に処理することで、産業的環境における効率的かつ低遅延の推論を実現する。
• 直接的なLLM生成テキストの露出を避けることでプライバシーを保ち、代替的に堅牢なベクトル表現を用いることで幻覚化リスクを低減する。

提案手法

• ユーザー行動履歴やプロファイルに関する正確で構造的な推論をLLMから引き出すために要因分解プロンプティングを導入し、複雑な好みを解釈可能な要素に分解する。
• 外部世界の知識（例：アイテムの属性、あらすじ、レビューなど）を問い合わせるプロンプト工学を用いて、LLMからアイテムに関する事実知識を抽出する。
• LLMが生成したテキスト知識を、下流のレコメンデーションモデルと互換性のある密度的・コンパクト・タスク特化型の埋め込みベクトルに変換するためのハイブリッドエキスパートアダプタを設計する。
• アダプタを推論から分離し、拡張されたベクトルを事前に計算・保存することで、ベースラインのレコメンデーションモデルと同等の推論速度を実現する。
• 既存のレコメンデーションモデル（例：DIN）にアーキテクチャの変更なしに事前に保存された知識ベクトルを統合可能であり、広範な互換性を確保する。
• 生産環境で第三者APIを介さずに自社のLLM（例：PanGu）を用いることで、プライバシー漏洩リスクを回避し、データセキュリティを強化する。

実験結果

リサーチクエスチョン

• RQ1 大規模言語モデルを用いて、単なる行動パターンを越えたユーザー好みに関する意味のある推論を効果的に抽出できるか？
• RQ2 元のデータセットに存在しないLLMからのアイテムに関する事実知識が、レコメンデーションの精度向上に寄与するか？
• RQ3 再トレーニングなしに、LLMが生成した知識を既存のレコメンデーションモデルと互換性のある形式に変換する方法は何か？
• RQ4 リアルタイムレコメンデーションシステムにLLMを統合する際、低遅延推論を実現する戦略は何か？
• RQ5 生産環境のレコメンデーションシステムでLLMを使用する際、幻覚化やデータ漏洩といったプライバシー・セーフティリスクをどのように低減できるか？

主な発見

• KARは、HuaweiのニュースレコメンデーションプラットフォームでオンラインA/Bテストにおいて7%の相対的向上を達成し、最先端のベースラインを大きく上回った。
• KARは、Huaweiの音楽レコメンデーションプラットフォームでも1.7%の向上を示し、多様な分野にわたり一貫した向上を示した。
• 事前に保存された知識を用いたKAR（KAR$_{w/o\text{ }apt}$）の推論遅延は、MovieLens-1Mで1サンプルあたり6.64×10⁻³秒にまで低減され、ベースラインのDINモデル（6.42×10⁻³ s）と同等の性能を示した。
• 直接的なLLM API推論はリアルタイムシステムでは非現実的であり、MovieLens-1Mで平均5.54秒の遅延を示し、産業用途の100msの閾値を大幅に上回った。
• TALLRecのような微調整済みLLMでさえも、推論遅延が約0.7秒に留まり、リアルタイムデプロイメントには不適切であった。
• ハイブリッドエキスパートアダプタは、複数のモデルとデータセットでレコメンデーション性能を向上させる、コンパクトで情報量の多いベクトルにLLM出力を効果的に圧縮していた。