[논문 리뷰] Exploring the Impact of Large Language Models on Recommender Systems: An Extensive Review

Arpita Vats, Vinija Jain외 2명|arXiv (Cornell University)|2024. 02. 11.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 추천 시스템에서 대규모 언어 모델(Large Language Models, LLMs)에 대한 종합적인 리뷰를 제시하며, 체계적인 분류 체계를 도입하고 프롬프트 엔지니어링, 피닝튜닝, 리트리ieval 증강 생성 등의 기법을 분석한다. LLMs가 개인화, 설명 가능성, 다중 도메인 적응성 향상에 기여함을 입증하며, DEALRec와 같은 방법은 2%의 데이터 효율성을 달성하고, RLMRec는 협업 필터링 내에서 의미적 정렬을 향상시킨다.

ABSTRACT

The paper underscores the significance of Large Language Models (LLMs) in reshaping recommender systems, attributing their value to unique reasoning abilities absent in traditional recommenders. Unlike conventional systems lacking direct user interaction data, LLMs exhibit exceptional proficiency in recommending items, showcasing their adeptness in comprehending intricacies of language. This marks a fundamental paradigm shift in the realm of recommendations. Amidst the dynamic research landscape, researchers actively harness the language comprehension and generation capabilities of LLMs to redefine the foundations of recommendation tasks. The investigation thoroughly explores the inherent strengths of LLMs within recommendation frameworks, encompassing nuanced contextual comprehension, seamless transitions across diverse domains, adoption of unified approaches, holistic learning strategies leveraging shared data reservoirs, transparent decision-making, and iterative improvements. Despite their transformative potential, challenges persist, including sensitivity to input prompts, occasional misinterpretations, and unforeseen recommendations, necessitating continuous refinement and evolution in LLM-driven recommender systems.

연구 동기 및 목표

• LLM 기반 추천 시스템을 응용 유형과 아키텍처 측면에서 체계적으로 분류하기 위한 분류 체계 수립.
• 프롬프트 엔지니어링, 피닝튜닝, 리트리ieval 증강 생성 등의 핵심 기법들을 추천 작업에 대해 체계화하고 분석하기.
• 기존 추천 시스템의 주요 과제인 설명 가능성 부족과 낮은 일반화 능력 문제를 LLM의 능력을 활용해 해결하기.
• 정당성, 설명 가능성, 순위 질량에 중점을 둔 새로운 벤치마크를 통해 LLM의 성능을 평가하기.
• 현재의 진전과 열린 과제를 종합하여 연구자와 실무자가 LLM을 효과적으로 구현할 수 있도록 안내하기.

제안 방법

• LLM 기반 추천 시스템의 계층적 분류 체계를 제안하며, LLM 기반, 즉시 사용형, 순차적, 대화형, 개인화, 지식 그래프, 재순서, 프롬프트 엔지니어링, 피닝튜닝된 LLM 시스템을 포함한다.
• 특화된 LLM 기반 모델인 RLMRec를 도입하고 평가하며, 교차 시각 정렬을 통해 LLM의 의미적 표현을 협업 신호와 정렬함으로써 성능 향상을 이룬다.
• DEALRec에서 影향 및 노력 점수를 활용한 데이터 프루닝을 통해 전체 학습 데이터의 2%만으로도 성능을 유지하면서 LLM을 피닝튜닝한다.
• 정보 검색 및 추천 작업에 유용한 지침 튜닝 데이터셋인 INTERS를 개발하며, 21개의 작업에 걸쳐 총 43개의 데이터셋을 통합한다.
• 대화형 추천 시스템의 상호작용 평가 및 향상을 위해 LLM 기반 사용자 시뮬레이터(iEvaLM)와 정규화 기법을 적용한다.
• 8개의 민감한 특성을 포함한 FaiRLLM을 도입하여 LLM 기반 추천의 정당성 평가를 수행하며, ChatGPT와 같은 모델에서 음악 및 영화 추천 시 특정 민감한 특성에 대한 편향이 지속됨을 드러낸다.

실험 결과

연구 질문

• RQ1 LLMs는 추천 시스템의 광범위한 영역 내에서 체계적으로 분류되고 분류될 수 있는가?
• RQ2 프롬프팅, 피닝튜닝, 리트리ieval 증강 생성을 포함한 추천 파이프라인에 LLM을 통합하는 데 가장 효과적인 기법은 무엇인가?
• RQ3 LLMs는 추천 작업에서 설명 가능성, 개인화, 다중 도메인 일반화 능력 향상에 어느 정도 기여할 수 있는가?
• RQ4 伝통적 모델 대비 LLM 기반 시스템은 정당성, 투명성, 상호작용 추천 시나리오에서 어떻게 성능을 발휘하는가?
• RQ5 생산 환경에서 LLM을 구현할 때의 주요 과제는 무엇이며, 새로운 아키텍처와 평가 프레임워크를 통해 어떻게 완화할 수 있는가?

주요 결과

• LLMs는 추천 작업에서 맥락 이해력과 제로/소수 샘플 일반화 능력을 크게 향상시켜, 동적이고 희소 데이터 기반 시나리오에서 기존 모델을 능가한다.
• DEALRec는 전체 데이터로 학습하는 것과 유사한 성능을 달성하면서도 학습 데이터의 2%만을 사용하여 학습 시간과 자원 비용을 95% 이상 절감한다.
• RLMRec는 교차 시각 정렬을 통해 LLM이 생성한 의미적 표현을 협업 신호와 정렬함으로써 추천 정확도를 향상시키며, 벤치마크 데이터셋에서 성능 향상을 입증한다.
• FaiRLLM은 LLM 기반 추천에서 지속적인 정당성 문제를 드러내며, ChatGPT와 같은 모델이 음악 및 영화 추천에서 특정 민감한 특성에 편향을 보임을 확인한다.
• iEvaLM는 LLM 기반 사용자 시뮬레이터가 대화형 추천 시스템의 강력하고 상호작용 가능한 평가를 가능하게 하며, 시뮬레이션 정밀도와 설명 가능성 향상을 이룬다.
• Ranking GPT 및 유사한 지시 튜닝 모델은 파assage 재순서 벤치마크에서 최고 성능을 기록하며, 정규화 기법을 통해 전용 LLM의 효율적 구현이 가능하다.