[논문 리뷰] A Large Language Model Enhanced Conversational Recommender System

Yue Feng, Shuchang Liu외 6명|arXiv (Cornell University)|2023. 08. 11.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 LLMCRS를 제안하며, 네 단계 워크플로우를 통해 하위 작업 관리, 전문 모델 협업, 응답 생성을 위한 대규모 언어 모델(LLM) 통합을 통해 대화형 추천 시스템을 향상시킨다. 스키마 기반 지시, 시범 예시, 동적 모델 매칭, 요약 기반 응답 생성을 통해 GoRecDial과 TG-ReDial 벤치마크에서 최신 기술 수준의 성능을 달성하였으며, 강화 학습 미세조정을 추가로 적용하여 성능 향상을 이룬다.

ABSTRACT

Conversational recommender systems (CRSs) aim to recommend high-quality items to users through a dialogue interface. It usually contains multiple sub-tasks, such as user preference elicitation, recommendation, explanation, and item information search. To develop effective CRSs, there are some challenges: 1) how to properly manage sub-tasks; 2) how to effectively solve different sub-tasks; and 3) how to correctly generate responses that interact with users. Recently, Large Language Models (LLMs) have exhibited an unprecedented ability to reason and generate, presenting a new opportunity to develop more powerful CRSs. In this work, we propose a new LLM-based CRS, referred to as LLMCRS, to address the above challenges. For sub-task management, we leverage the reasoning ability of LLM to effectively manage sub-task. For sub-task solving, we collaborate LLM with expert models of different sub-tasks to achieve the enhanced performance. For response generation, we utilize the generation ability of LLM as a language interface to better interact with users. Specifically, LLMCRS divides the workflow into four stages: sub-task detection, model matching, sub-task execution, and response generation. LLMCRS also designs schema-based instruction, demonstration-based instruction, dynamic sub-task and model matching, and summary-based generation to instruct LLM to generate desired results in the workflow. Finally, to adapt LLM to conversational recommendations, we also propose to fine-tune LLM with reinforcement learning from CRSs performance feedback, referred to as RLPF. Experimental results on benchmark datasets show that LLMCRS with RLPF outperforms the existing methods.

연구 동기 및 목표

• 단일 대화 인터페이스 내에서 선호도 수집, 추천, 설명, 항목 검색 등의 여러 하위 작업을 관리하는 데 도전한다.
• 기존의 LLM 기반 CRS에서 효과적인 하위 작업 관리와 하위 작업에 특화된 최적화가 부족한 점을 해결한다.
• LLM을 자연어 인터페이스로 활용하면서도 일관성, 유창성, 정보성 확보를 통해 응답 품질을 향상시킨다.
• 구조적 프롬프팅과 CRS 피드백 기반 강화 학습 미세조정을 통해 시스템의 제어성과 성능을 향상시킨다.
• LLM 추론과 전문화된 전문 모델을 통합하여 종단 간 대화형 추천을 위한 통합적이고 유연한 프레임워크를 개발한다.

제안 방법

• 대화형 추천 워크플로우를 네 단계로 분할한다: 하위 작업 탐지, 모델 매칭, 하위 작업 실행, 응답 생성.
• 스키마 기반 지시를 사용하여 하위 작업 탐지의 표준화를 도모하고, 다중 작업 간 일반화 및 이해도 향상을 높인다.
• 분포 내 대화 예시를 활용한 시범 기반 지시를 사용하여 LLM이 작업에 적합한 출력을 생성하도록 이끈다.
• 각 탐지된 하위 작업에 가장 적합한 전문 모델을 선택하기 위한 동적 하위 작업 및 모델 매칭 메커니즘을 도입한다.
• 특수화된 전문 모델(예: 선호도 추출 또는 항목 검색용)을 호출하는 하이브리드 인퍼런스 엔드포인트를 통해 하위 작업을 실행한다.
• 이전 단계의 결과를 요약 기반 생성 방식으로 통합하여 LLM을 활용해 일관적이고 정보적인 응답을 생성한다.

실험 결과

연구 질문

• RQ1 LLM은 대화형 추천 시스템 내에서 여러 하위 작업을 효과적으로 관리하기 위해 어떻게 활용될 수 있는가?
• RQ2 스키마 기반, 시범 기반, 요약 기반의 프롬프팅 전략 중 어느 것이 LLM이 정확하고 맥락에 적합한 응답을 생성하도록 가장 효과적으로 이끄는가?
• RQ3 하위 작업과 전문 모델 간의 동적 모델 매칭이 개별 추천 하위 작업의 성능 향상에 기여하는가?
• RQ4 CRS 성능 피드백 기반 강화 학습 미세조정이 전체 시스템의 효과성 향상에 얼마나 기여하는가?
• RQ5 LLM과 전문 모델의 통합 방식이 종단 간 LLM 전용 접근 방식과 비교해 추천 정확도 및 응답 품질 측면에서 어떻게 다를까?

주요 결과

• 강화 학습 미세조정(RLFT)을 적용한 LLMCRS는 GoRecDial과 TG-ReDial에서 최신 기술 수준의 성능을 달성하여 모든 지표에서 기존 방법을 능가한다.
• 제거 실험에서 스키마 기반 지시(-w/o SI)를 제거할 경우 HIT@10가 0.2963으로, MRR@10가 0.1228로, NDCG@10가 0.1674로 감소하여, 이는 작업 이해도 향상에 있어 핵심적인 역할을 한다는 것을 시사한다.
• 시범 예시(-w/o DI)를 제거할 경우 BLEU-1가 0.0528에서 0.0412로, Distinct-1가 0.1659에서 0.1588로 감소하여, 응답 품질 및 형식 일관성 유지에 있어 그 가치를 확인한다.
• 요약 기반 생성을 제거(-w/o SG)할 경우 NDCG@10가 0.1691로, BLEU-1가 0.0460으로 감소하여, 체계적인 요약이 응답의 일관성과 추천 정확도 향상에 기여함을 보여준다.
• 사례 연구에서는 LLMCRS가 사용자 선호도(예: '스크시저'와 '드라마')를 정확히 추론하고 '슈인들러의 목록'을 정보적이고 자연스러운 응답과 함께 추천하는 것으로 확인되었으며, 기준 모델인 TG-ReDial은 추천 및 응답 품질 측면에서 실패함을 보였다.
• 성능 향상 요인은 LLM 추론, 전문 모델 전문화, 지시 미세조정 간의 상호보완적 상호작용으로, 특히 하위 작업 탐지 및 응답 생성에서 두드러진다.