[논문 리뷰] Towards Open-World Recommendation with Knowledge Augmentation from Large Language Models

Yunjia Xi, Weiwen Liu외 9명|arXiv (Cornell University)|2023. 06. 19.

Topic Modeling인용 수 7

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)을 활용해 사용자 선호도에 대한 추론 지식과 아이템에 대한 사실 지식을 추출함으로써 오픈 월드 지식을 추천 시스템에 통합하는 KAR 프레임워크를 제안한다. 요인 분해 프롬프팅과 하이브리드 전문가 어댑터를 통해 KAR는 LLM의 출력을 컴 pact하고 작업에 적합한 벡터로 변환하여 성능 향상을 이끌어내며, 사전에 저장된 지식을 통해 낮은 추론 지연을 유지한다. 온라인 A/B 테스트에서 각각 7%와 1.7%의 성능 향상을 기록했다.

ABSTRACT

Recommender systems play a vital role in various online services. However, the insulated nature of training and deploying separately within a specific domain limits their access to open-world knowledge. Recently, the emergence of large language models (LLMs) has shown promise in bridging this gap by encoding extensive world knowledge and demonstrating reasoning capability. Nevertheless, previous attempts to directly use LLMs as recommenders have not achieved satisfactory results. In this work, we propose an Open-World Knowledge Augmented Recommendation Framework with Large Language Models, dubbed KAR, to acquire two types of external knowledge from LLMs -- the reasoning knowledge on user preferences and the factual knowledge on items. We introduce factorization prompting to elicit accurate reasoning on user preferences. The generated reasoning and factual knowledge are effectively transformed and condensed into augmented vectors by a hybrid-expert adaptor in order to be compatible with the recommendation task. The obtained vectors can then be directly used to enhance the performance of any recommendation model. We also ensure efficient inference by preprocessing and prestoring the knowledge from the LLM. Extensive experiments show that KAR significantly outperforms the state-of-the-art baselines and is compatible with a wide range of recommendation algorithms. We deploy KAR to Huawei's news and music recommendation platforms and gain a 7\% and 1.7\% improvement in the online A/B test, respectively.

연구 동기 및 목표

• 학습 도메인 외부의 외부 세계 지식에 접근할 수 없는 폐쇄 월드 추천 시스템의 한계를 해결하기 위해.
• 추천 목표와의 불일치로 인해 직접적인 LLM 파인튜닝이나 프롬프팅이 추천 작업에서 성능이 떨어지는 문제를 해결하기 위해.
• 사용자 선호도에 대한 추론과 아이템에 대한 사실 지식이라는 두 가지 유형의 외부 지식을 능동적으로 확보하여 오픈 월드 추천을 가능하게 하기 위해.
• 사전에 LLM이 생성한 지식 벡터를 처리하고 저장함으로써 산업 환경에서 효율적이고 저지연 추론을 보장하기 위해.
• 직접 LLM이 생성한 텍스트를 노출하지 않고 강력한 벡터 표현을 사용함으로써 기밀성 유지 및 환상화 위험을 줄이기 위해.

제안 방법

• 사용자 행동 이력과 프로필에 대해 정확하고 구조화된 추론을 유도하기 위해 요인 분해 프롬프팅을 도입하여 복잡한 선호도를 해석 가능한 구성 요소로 분해한다.
• 외부 세계 지식(예: 아이템 속성, 줄거리, 리뷰 등)을 쿼리하는 프롬프팅 엔지니어링을 통해 LLM으로부터 아이템에 대한 사실 지식을 추출한다.
• LLM이 생성한 텍스트 기반 지식을 추천 모델에 적합한 고밀도, 컴 pact하고 작업에 특화된 임베딩 벡터로 변환하기 위해 하이브리드 전문가 어댑터를 설계한다.
• 어댑터를 추론 과정에서 분리하기 위해 증강된 벡터를 사전에 계산하고 저장함으로써 기존 추천 모델과 유사한 추론 속도를 확보한다.
• 기존 추천 모델(예: DIN)에 아키텍처 변경 없이 사전에 저장된 지식 벡터를 통합함으로써 광범위한 호환성을 확보한다.
• 제3자 API를 통한 데이터 泄露를 방지하기 위해 실사용 환경에서 내부 LLM(예: PanGu)을 사용함으로써 데이터 보안성을 향상시킨다.

실험 결과

연구 질문

• RQ1 대규모 언어 모델을 사용하여 단순한 행동 패tern을 넘어서 사용자 선호도에 대한 의미 있는 추론을 효과적으로 추출할 수 있는가?
• RQ2 원본 데이터셋에 존재하지 않는 LLM에서 추출한 아이템에 대한 사실 지식이 추천 정확도를 향상시킬 수 있는가?
• RQ3 재학습 없이도 LLM이 생성한 지식을 기존 추천 모델에 호환 가능한 형태로 변환할 수 있는가?
• RQ4 실시간 추천 시스템에 LLM을 통합할 때 저지연 추론을 확보하기 위한 전략은 무엇인가?
• RQ5 생산 환경에서 LLM을 사용할 경우 환상화나 데이터 泄露와 같은 기밀성 및 안전성 위험을 어떻게 완화할 수 있는가?

주요 결과

• KAR는 화웨이의 뉴스 추천 플랫폼에서 온라인 A/B 테스트에서 상태 최고 수준의 베이스라인을 상회하는 7%의 상대적 성능 향상을 기록했다.
• KAR는 화웨이의 음악 추천 플랫폼에서 1.7%의 성능 향상을 기록하여 다양한 도메인 간 일관된 성능 향상을 입증했다.
• 사전에 저장된 지식을 사용한 KAR의 추론 지연(KAR$_{w/o ext{ }apt}$)은 MovieLens-1M에서 샘플당 6.64×10⁻³초로 측정되어 기초 DIN 모델(6.42×10⁻³ s)과 유사한 수준이었다.
• 직접적인 LLM API 추론은 실시간 시스템에 부적합했으며, MovieLens-1M에서 평균 지연이 5.54초로 산업용 100ms 기준을 초과했다.
• TALLRec와 같은 파인튜닝된 LLM을 사용하더라도 추론 지연이 약 0.7초로 유지되어 실시간 배포에 부적합한 수준이었다.
• 하이브리드 전문가 어댑터는 LLM 출력을 컴 pact하고 정보가 풍부한 벡터로 효과적으로 압축하여 다양한 모델과 데이터셋에서 추천 성능 향상을 이끌어냈다.