[論文レビュー] Knowledge Plugins: Enhancing Large Language Models for Domain-Specific Recommendations

Jing Yao, Wei Xu+4 more|arXiv (Cornell University)|Nov 16, 2023

Topic Modeling被引用数 7

ひとこと要約

本稿では、微調整を伴わずに、知識準備、カスタマイズ、プロンプトを用いた自然言語表現の3段階プロセスによって、ドメイン固有の知識を大規模言語モデル（LLMs）に統合するフレームワークDOKEを提案する。実験の結果、協調フィルタリング信号とアイテム属性を組み込むことで、スパースなユーザーや長いユーザーヒストリーデータを持つケースにおいても、LLMのパフォーマンスが顕著に向上することが示された。

ABSTRACT

The significant progress of large language models (LLMs) provides a promising opportunity to build human-like systems for various practical applications. However, when applied to specific task domains, an LLM pre-trained on a general-purpose corpus may exhibit a deficit or inadequacy in two types of domain-specific knowledge. One is a comprehensive set of domain data that is typically large-scale and continuously evolving. The other is specific working patterns of this domain reflected in the data. The absence or inadequacy of such knowledge impacts the performance of the LLM. In this paper, we propose a general paradigm that augments LLMs with DOmain-specific KnowledgE to enhance their performance on practical applications, namely DOKE. This paradigm relies on a domain knowledge extractor, working in three steps: 1) preparing effective knowledge for the task; 2) selecting the knowledge for each specific sample; and 3) expressing the knowledge in an LLM-understandable way. Then, the extracted knowledge is incorporated through prompts, without any computational cost of model fine-tuning. We instantiate the general paradigm on a widespread application, i.e. recommender systems, where critical item attributes and collaborative filtering signals are incorporated. Experimental results demonstrate that DOKE can substantially improve the performance of LLMs in specific domains.

研究の動機と目的

• 推薦システムのような実用的タスクに応用する際、LLMsにドメイン固有の知識が欠如している問題に対処すること。
• 微調整の限界、特に計算コストの高さや過学習・一般化性能の低下のリスクを克服すること。
• プロンプト工学を用いて、関連性があり最新でタスク特化された知識をLLMsに統合する汎用的パラダイムの開発。
• アイテム属性や協調フィルタリング信号といった、異なる種類のドメイン知識がLLMの推薦タスクパフォーマンスに与える影響を評価すること。
• カスタマイズされた、サンプル固有の知識が、グローバルまたは一般的な知識と比較してLLMの推論に与える影響を調査すること。

提案手法

• 大規模かつ変化し続けるデータセットから包括的なドメイン知識を抽出するためのドメイン知識抽出器を用いる。
• ユーザーヒストリーや候補アイテムに基づいて、各入力サンプルに最も関連する知識のみを選択する知識カスタマイズを実施する。
• 解釈可能で、あらゆるLLMと互換性がある自然言語プロンプト形式で知識を表現する。
• フレームワークは、LLMパラメータを変更せずに、アイテム属性と協調フィルタリング（CF）信号（例：共通クリック確率）をプロンプトに統合する。
• 知識抽出に軽量な外部モデルに依存するため、ドメインを問わず効率的かつスケーラブルである。
• ChatGPTなどのLLMsを用いて、ML-1M、Beauty、Online Retailの3つのベンチマークデータセットでアプローチを評価する。

実験結果

リサーチクエスチョン

• RQ1 ドメイン固有の知識を注入することで、LLMの推薦タスクパフォーマンスにどのような影響を与えるか？
• RQ2 アイテム属性と協調フィルタリング信号のどちらの知識タイプが、パフォーマンス向上に最も寄与するか？
• RQ3 サンプルごとにカスタマイズされた知識と、グローバルまたは静的知識の比較において、どのような差が生じるか？
• RQ4 知識の表現形式（例：テンプレート対推論パス）が、LLMの理解力とパフォーマンスに与える影響は何か？
• RQ5 どのユーザーやアイテムのグループ（例：長期間のヒストリーデータ vs. 短期間、人気アイテム vs. 稀なアイテム）において、知識統合が最も効果的か？

主な発見

• 特にユーザーからアイテムへの関連性（U2I）と、ヒストリーや候補アイテムに基づくアイテム同士の関連性（I2I）信号を含む協調フィルタリング（CF）信号の統合により、3つのデータセットすべてで顕著なパフォーマンス向上が得られた。
• U2I信号が最大の向上をもたらし、ユーザーとアイテムの相互作用パターンがLLMsにとって非常に有益であるが、未だに十分に活用されていないことが示された。
• 現在のユーザーと候補アイテムに関連するCF信号を含む、カスタマイズされた知識は、グローバルまたは非カスタマイズ知識よりもパフォーマンスをより良くした。
• グローバルなCF情報は、場合によってはパフォーマンスを低下させることがあり、関係のないか、あまりに一般的な知識がLLMsを誤導する可能性があることを示唆している。
• 知識グラフ上の推論パスを用いた知識表現は、単純なテキストテンプレートよりわずかに優れていたが、低品質なKGと強力なLLMのコンテキスト内知識の影響により、向上幅は限定的だった。
• 本手法は、長期間の相互作用履歴を持つユーザーと人気のあるアイテムに対して最も効果的であり、ここではドメインのパターンがより信頼性高く学習され、統合された。