[논문 리뷰] TALLRec: An Effective and Efficient Tuning Framework to Align Large Language Model with Recommendation

Keqin Bao, Jizhi Zhang외 4명|arXiv (Cornell University)|2023. 04. 30.

Topic Modeling참고 문헌 66인용 수 13

한 줄 요약

TALLRec는 경량 Alpaca 및 rec-tuning 단계를 사용하여 LoRA로 LLaMA-7B를 조정하고 추천 작업에 맞추어 LLM을 정렬하여 강력한 few-shot 성능과 교차 도메인 일반화를 달성하며 전통적 및 In-context Learning 베이스라인을 능가합니다.

ABSTRACT

Large Language Models (LLMs) have demonstrated remarkable performance across diverse domains, thereby prompting researchers to explore their potential for use in recommendation systems. Initial attempts have leveraged the exceptional capabilities of LLMs, such as rich knowledge and strong generalization through In-context Learning, which involves phrasing the recommendation task as prompts. Nevertheless, the performance of LLMs in recommendation tasks remains suboptimal due to a substantial disparity between the training tasks for LLMs and recommendation tasks, as well as inadequate recommendation data during pre-training. To bridge the gap, we consider building a Large Recommendation Language Model by tunning LLMs with recommendation data. To this end, we propose an efficient and effective Tuning framework for Aligning LLMs with Recommendation, namely TALLRec. We have demonstrated that the proposed TALLRec framework can significantly enhance the recommendation capabilities of LLMs in the movie and book domains, even with a limited dataset of fewer than 100 samples. Additionally, the proposed framework is highly efficient and can be executed on a single RTX 3090 with LLaMA-7B. Furthermore, the fine-tuned LLM exhibits robust cross-domain generalization. Our code and data are available at https://github.com/SAI990323/TALLRec.

연구 동기 및 목표

• LLM 학습 태스크와 추천 태스크 사이의 간극을 좁히기 위해 대형 추천 언어 모델(LRLM)을 구축한다.
• 제한된 데이터와 GPU 자원으로 추천에 적합하도록 두 단계 튜닝 프레임워크(알파카 튜닝과 rec-tuning)를 개발한다.
• 조정된 LRLM이 전통적 추천기와 In-context Learning 베이스라인을 적은 샷 설정에서 능가함을 입증하고, 교차 도메인 일반화를 보인다.

제안 방법

• 추천 데이터를 rec-tuning용 지시-조정 입력과 출력 형식으로 구성한다.
• LLM의 일반화 능력을 향상시키기 위해 self-instruct 데이터를 사용한 Alpaca 튜닝을 활용한다.
• 과거 상호작용을 이용해 대상 항목에 대한 사용자의 선호를 예측하도록 모델을 조정하기 위해 rec-tuning을 적용한다.
• LoRA를 사용하여 LLaMA-7B에서 가벼운 파라미터-효율적 미세조정을 가능하게 하고 기본 파라미터를 고정한다.
• 단일 RTX 3090에서 구현된 두 단계 프레임워크(알파카 튜닝 후 rec-tuning)로 학습한다.
• 실용적 배포 및 데이터 보안 고려를 반영하기 위해 API 기반 모델이 아니라 오픈소스 LLaMA에 백본 모델 선정을 중점으로 한다.

실험 결과

연구 질문

• RQ1 RQ1: TALLRec는 현재의 LLM 기반 및 전통적 추천 모델과 비교하여 어떤 성능을 보이나요?
• RQ2 RQ2: TALLRec의 서로 다른 구성 요소가 효과에 어떤 영향을 미치나요?
• RQ3 RQ3: 교차 도메인 추천에서 TALLRec의 성능은 어떠한가요?

주요 결과

• TALLRec는 few-shot 설정에서 전통적 및 LLM 기반 베이스라인을 크게 능가합니다.
• rec-tuning에서 조정된 LLM과 비교할 때 GPT-3.5 기반 프롬프트를 사용한 In-context Learning은 성능이 떨어집니다.
• Alpaca 튜닝은 일반화에 기여하지만, few-shot 시나리오에서 강한 추천 성능을 얻으려면 rec-tuning이 필수적입니다.
• TALLRec는 예를 들어 영화에서 책으로의 교차 도메인 일반화가 강하며, 여러 도메인의 데이터를 결합하면 더 향상될 수 있습니다.
• GRU-BERT 및 DROS-BERT 변형은 few-shot 설정에서 기반 모델에 비해 크게 향상되지 않으며, 텍스트 설명만으로는 기존 모델을 크게 개선하지 못함을 시사합니다.
• 다양한 데이터셋에서 AUC가 명확히 향상되며, 보고된 표들에서 최종 TALLRec 버전이 가장 높은 점수를 달성합니다.