[논문 리뷰] DRDT: Dynamic Reflection with Divergent Thinking for LLM-based Sequential Recommendation

Yu Wang, Zhiwei Liu외 4명|arXiv (Cornell University)|2023. 12. 18.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 LLM 기반 순차적 추천을 위한 동적 반사 및 이질적 사고 프레임워크인 DRDT를 제안한다. 이는 피팅 조정 없이도 제로샷 순위 매기기 성능을 햖थ기며, 협업적 인라인 예시, 다각도 선호도 추상화, 반복적인 탐색-비평-반사 프로세스를 통해 성능을 향상시킨다. DRDT는 세 가지 데이터셋에서 GPT-Turbo-3.5 및 Vicuna-7b, OpenChat-7b와 같은 7B 모델보다 NDCG@10에서 뛰어난 성능을 보였다.

ABSTRACT

The rise of Large Language Models (LLMs) has sparked interest in their application to sequential recommendation tasks as they can provide supportive item information. However, due to the inherent complexities of sequential recommendation, such as sequential patterns across datasets, noise within sequences, and the temporal evolution of user preferences, existing LLM reasoning strategies, such as in-context learning and chain-of-thought are not fully effective. To address these challenges, we introduce a novel reasoning principle: Dynamic Reflection with Divergent Thinking within a retriever-reranker framework. Our approach starts with a collaborative in-context demonstration retriever, which collects sequences exhibiting collaborative behaviors as in-context examples. Following this, we abstract high-level user preferences across multiple aspects, providing a more nuanced understanding of user interests and circumventing the noise within the raw sequences. The cornerstone of our methodology is dynamic reflection, a process that emulates human learning through probing, critiquing, and reflecting, using user feedback to tailor the analysis more effectively to the target user in a temporal manner. We evaluate our approach on three datasets using six pre-trained LLMs. The superior performance observed across these models demonstrates the efficacy of our reasoning strategy, notably achieved without the need to fine-tune the LLMs. With our principle, we managed to outperform GPT-Turbo-3.5 on three datasets using 7b models e.g., Vicuna-7b and Openchat-7b on NDCG@10. This research not only highlights the potential of LLMs in enhancing sequential recommendation systems but also underscores the importance of developing tailored reasoning strategies to fully harness their capabilities.

연구 동기 및 목표

• 기존 프롬프팅 전략(예: 인라인 학습 및 사고의 사슬)이 순차적 추천에서 협업 신호, 노이즈, 사용자 선호의 시간적 진화를 포괄하지 못하는 한계를 해결하기 위해.
• 피팅 조정 없이도 LLM이 변화하는 사용자 선호도에 대해 효과적으로 추론할 수 있도록 하는 추론 프레임워크를 개발하기 위해.
• 협업 행동 패tern과 사용자 기반 선호도 추상화를 통합하여 제로샷 LLM 순위 매기기 성능을 향상시키기 위해.
• 반복적인 반사 메커니즘이 표준 프롬프팅을 초월하여 LLM 추론을 순차적 추천에서 어떻게 향상시킬 수 있는지 탐색하기 위해.

제안 방법

• 검색기-다시정렬기 프레임워크를 사용하며, 검색기는 데이터셋에서 유사한 협업 행동을 보이는 시퀀스를 검색하기 위해 협업적 인라인 예시 검색기를 활용한다.
• 다양한 측면에서 고수준 사용자 선호도를 추상화하기 위해 이질적 사고를 적용하여 원시 시퀀스에서 오는 노이즈를 줄이고 사용자 관심사에 대한 세밀한 이해를 가능하게 한다.
• 동적 반사는 탐색-비평-반복하는 루프로 구현된다: LLM이 예측을 생성하고 특정 위치에서 참값 항목과 비교하여 평가한 후 이해를 반복적으로 개선한다.
• 반사 과정은 시간적으로 기반을 두며, 위치 s-4까지의 이전 시퀀스를 사용하고 s-3, s-2 등에서 예측을 테스트하여 사용자 선호의 시간적 진화를 시뮬레이션한다.
• 반사 과정에서 참값 항목을 기준으로 삼아 환상 축적을 방지함으로써 실제 사용자 행동과의 일치를 확보한다.
• 이 방법은 피팅 조정 없이도 프롬프트 엔지니어링과 검색에 의존하여 여섯 개의 사전 훈련된 LLM(예: Vicuna-7b 및 GPT-Turbo-3.5 포함)에 적용된다.

실험 결과

연구 질문

• RQ1 동적 반사와 이질적 사고 기반 추론 전략이 피팅 조정 없이 제로샷 LLM 성능을 순차적 추천에서 향상시킬 수 있는가?
• RQ2 협업적 인라인 예시 검색은 LLM 기반 추천에서 사용자 간 협업 신호를 얼마나 효과적으로 포착하는가?
• RQ3 다각도 선호도 추상화는 사용자 상호작용 시퀀스의 노이즈를 어느 정도 감소시키는가?
• RQ4 동적 반사 단계 수가 순위 매기기 성능에 어떤 영향을 미치며, 최적의 반사 빈도는 무엇인가?
• RQ5 DRDT는 일반 텍스트, ICL, 제로샷 사고의 사슬과 같은 표준 프롬프팅 전략에 비해 시간적 선호도 진화를 얼마나 잘 포착하는가?

주요 결과

• DRDT는 Vicuna-7b 및 OpenChat-7b와 같은 7B 모델만을 사용하여 세 데이터셋에서 GPT-Turbo-3.5를 모두 능가하며, NDCG@10에서 더 높은 성능을 기록했다.
• 성능 지표(Recall@10 및 NDCG@10)는 동적 반사 단계 수가 증가함에 따라 증가하며, 컨텍스트 길이 제약로 인해 3단계에서 최고 성능를 보였다.
• 사례 연구에서 DRDT는 참값 항목(Judge Dredd)을 첫 번째 순위로 정확히 랭크시켰지만, 일반 텍스트 및 COT 전략은 이전 상호작용을 재구성하는 데에 머물렀다.
• ICL은 작업 이해도를 향상시켰지만, 개인화된 선호도의 세부 사항을 완전히 포착하지 못했으며, 역사와 유사도에 기반해 항목을 순위 매겼지 최적의 재정렬을 하지 못했다.
• 동적 반사 메커니즘은 참값 피드백을 활용해 반복적으로 예측을 탐색하고 비평함으로써 LLM이 더 일관되고 목표 중심의 추론 경로를 생성하도록 했다.
• 반사 과정을 실제 사용자 행동에 기반시켜 환상과 노이즈를 효과적으로 완화하였으며, 시간이 지남에 따라 추론의 이탈을 방지했다.