[논문 리뷰] Knowledge Plugins: Enhancing Large Language Models for Domain-Specific Recommendations

Jing Yao, Wei Xu외 4명|arXiv (Cornell University)|2023. 11. 16.

Topic Modeling인용 수 7

한 줄 요약

이 논문은 피팅(fine-tuning) 없이, 지식 준비, 커스터마이제이션, 프롬프트를 통한 자연어 표현의 세 단계 과정을 통해 도메인 특화 지식을 대규모 언어 모델(Large Language Models, LLMs)에 통합하는 DOKE 프레임워크를 제안한다. 실험 결과, 협업 필터링 신호와 아이템 속성의 통합이 특히 희소하거나 장기 사용자 이력이 있는 경우에 LLM의 성능을 크게 향상시킴을 보여준다.

ABSTRACT

The significant progress of large language models (LLMs) provides a promising opportunity to build human-like systems for various practical applications. However, when applied to specific task domains, an LLM pre-trained on a general-purpose corpus may exhibit a deficit or inadequacy in two types of domain-specific knowledge. One is a comprehensive set of domain data that is typically large-scale and continuously evolving. The other is specific working patterns of this domain reflected in the data. The absence or inadequacy of such knowledge impacts the performance of the LLM. In this paper, we propose a general paradigm that augments LLMs with DOmain-specific KnowledgE to enhance their performance on practical applications, namely DOKE. This paradigm relies on a domain knowledge extractor, working in three steps: 1) preparing effective knowledge for the task; 2) selecting the knowledge for each specific sample; and 3) expressing the knowledge in an LLM-understandable way. Then, the extracted knowledge is incorporated through prompts, without any computational cost of model fine-tuning. We instantiate the general paradigm on a widespread application, i.e. recommender systems, where critical item attributes and collaborative filtering signals are incorporated. Experimental results demonstrate that DOKE can substantially improve the performance of LLMs in specific domains.

연구 동기 및 목표

• 추천 시스템과 같은 실용적 과제에 적용될 때 LLMs가 도메인 특화 지식이 부족한 문제를 해결하기 위해.
• 계산 비용이 높고 과적합 또는 일반화 능력 손실의 위험이 있는 LLMs의 피팅에 기인한 제한을 극복하기 위해.
• 프롬프트 엔지니어링을 통해 관련성 있고 최신이며 과제에 특화된 지식을 일반 목적의 프레임워크로 LLMs에 주입하는 방법을 개발하기 위해.
• 다양한 유형의 도메인 지식(예: 아이템 속성, 협업 필터링 신호 등)이 추천 과제에서 LLM 성능에 미치는 영향을 평가하기 위해.
• 사용자나 아이템에 맞게 맞춤화된, 샘플별 지식이 일반적 또는 일반 지식보다 LLM 추론에 얼마나 더 효과적인지 조사하기 위해.

제안 방법

• 대규모이고 변화하는 데이터셋에서 포괄적인 도메인 지식을 준비하기 위해 도메인 지식 추출기가 사용된다.
• 사용자 이력과 후보 아이템을 바탕으로 각 입력 샘플에 가장 관련성이 높은 지식만 선택하는 지식 커스터마이제이션이 수행된다.
• 모든 LLM과 해석 가능하고 호환 가능한 자연어 프롬프트 형식으로 지식이 표현된다.
• 프레임워크는 아이템 속성과 협업 필터링(CF) 신호(예: 공동 클릭 확률 등)를 LLM 파ameter를 수정하지 않고 프롬프트에 통합한다.
• 지식 추출을 위한軽량 외부 모델에 의존함으로써, 다양한 도메인에서 효율적이고 확장 가능한 방법을 확보한다.
• ChatGPT와 같은 LLM을 사용하여 ML-1M, Beauty, Online Retail 세 가지 벤치마크 데이터셋에서 평가가 수행되었다.

실험 결과

연구 질문

• RQ1 도메인 특화 지식을 주입할 경우 LLM의 추천 과제 성능에 어떤 영향을 미치는가?
• RQ2 아이템 속성과 협업 필터링 신호 중 어떤 유형의 도메인 지식이 성능 향상에 가장 큰 기여를 하는가?
• RQ3 샘플별로 맞춤화된 지식이 일반적 또는 정적 지식과 비교해 어떻게 성능에 영향을 미치는가?
• RQ4 지식 표현 형식(예: 템플릿 대비 추론 경로)이 LLM의 이해도와 성능에 어떤 영향을 미치는가?
• RQ5 어떤 사용자 또는 아이템 그룹(예: 장기 이력 대비 단기 이력, 인기 아이템 대비 희귀 아이템)에서 지식 주입이 가장 효과적인가?

주요 결과

• 특히 사용자-항목(U2I) 및 이력-후보 기반 I2I 신호를 포함한 협업 필터링(CF) 신호 통합이 세 데이터셋 전반에서 성능 향상에 크게 기여한다.
• U2I 신호가 가장 큰 성능 향상을 이끌어내며, 이는 사용자-항목 상호작용 패tern이 LLM에 매우 유용하지만 아직 충분히 활용되지 않는다는 것을 보여준다.
• 사용자와 후보 아이템에 특화된 CF 신호를 포함한 맞춤형 지식은 일반적 또는 비커스터마이제이션된 지식보다 성능 향상에 더 효과적이다.
• 일부 경우에서 전역적 CF 정보는 성능을 저하시키는 경우가 있어, 관련성 없거나 너무 일반적인 지식이 LLM을 오도할 수 있음을 시사한다.
• 지식 그래프의 추론 경로를 사용한 지식 표현 방식이 단순 텍스트 템플릿보다 略적으로 성능이 뛰어나지만, 저품질 지식 그래프와 강력한 LLM의 인라인 지식 덕분에 성능 향상 폭은 미미하다.
• 이 방법은 장기적인 상호작용 이력이 있는 사용자와 인기 있는 아이템에서 가장 효과적이며, 이는 도메인 패턴이 더 확신 있게 학습되고 주입되기 때문이다.