[논문 리뷰] KuaiSim: A Comprehensive Simulator for Recommender Systems

Kesen Zhao, Shuchang Liu외 6명|arXiv (Cornell University)|2023. 09. 22.

Recommender Systems and Techniques인용 수 7

한 줄 요약

KuaiSim은 다중 행동 사용자 피드백, 세션 수준의 상호작용 및 세션 간 유지율을 모델링하는 종합적인 강화학습 시뮬레이터입니다. 요청 수준, 전세션 수준, 세션 간 유지율 수준의 세 가지 작업 수준을 지원하며, 실제 로그 데이터를 사용해 사용자 반응, 이탈, 유지율 모델을 사전 훈련함으로써 내장된 벤치마크와 교차 데이터셋 적응성을 갖춘 견고하고 재현 가능한 평가를 가능하게 합니다.

ABSTRACT

Reinforcement Learning (RL)-based recommender systems (RSs) have garnered considerable attention due to their ability to learn optimal recommendation policies and maximize long-term user rewards. However, deploying RL models directly in online environments and generating authentic data through A/B tests can pose challenges and require substantial resources. Simulators offer an alternative approach by providing training and evaluation environments for RS models, reducing reliance on real-world data. Existing simulators have shown promising results but also have limitations such as simplified user feedback, lacking consistency with real-world data, the challenge of simulator evaluation, and difficulties in migration and expansion across RSs. To address these challenges, we propose KuaiSim, a comprehensive user environment that provides user feedback with multi-behavior and cross-session responses. The resulting simulator can support three levels of recommendation problems: the request level list-wise recommendation task, the whole-session level sequential recommendation task, and the cross-session level retention optimization task. For each task, KuaiSim also provides evaluation protocols and baseline recommendation algorithms that further serve as benchmarks for future research. We also restructure existing competitive simulators on the KuaiRand Dataset and compare them against KuaiSim to future assess their performance and behavioral differences. Furthermore, to showcase KuaiSim's flexibility in accommodating different datasets, we demonstrate its versatility and robustness when deploying it on the ML-1m dataset.

연구 동기 및 목표

• 기존 시뮬레이터가 다중 행동 사용자 피드백과 장기적 사용자 유지율을 모델링하는 데 한계를 지닌 점을 해결합니다.
• 요청 수준, 전세션 수준, 세션 간 유지율 수준의 세 가지 다른 추천 작업 수준을 지원하는 통합 시뮬레이션 프레임워크를 제공합니다.
• 실제 로그 데이터를 사용해 사용자 모델을 사전 훈련하고 다른 데이터셋으로의 유연한 데이터 마이그레이션을 가능하게 하여 실제 데이터와의 일관성을 확보합니다.
• 각 작업 수준에 표준화된 평가 프로토콜과 기준 알고리즘을 제공하여 향후 연구의 기준이 되도록 합니다.
• KuaiRand 데이터셋에서 기존 시뮬레이터와의 비교 분석을 가능하게 하고 ML-1m에서의 강건성도 입증함으로써 시뮬레이터 평가를 향상시킵니다.

제안 방법

• 리스트 기반 추천(요청 수준), 순차적 추천(전세션 수준), 유지율 최적화(세션 간 수준)의 세 가지 다른 작업 수준을 갖춘 다수준 시뮬레이터 아키텍처를 설계합니다.
• 세 가지 핵심 모델을 구현합니다: 다중 행동 피드백(예: 클릭, 좋아요, 전달)을 위한 사용자 즉각적 반응 모델, 세션 종료를 탐지하기 위한 사용자 이탈 모델, 복귀 행동을 예측하기 위한 사용자 유지율 모델.
• KuaiRand 데이터셋의 실제 로그 데이터를 사용해 모든 사용자 행동 모델을 사전 훈련하여 실제 사용자 행동 분포와의 일치도를 확보합니다.
• 실제 데이터 분포와의 일致성을 유지하고 분포 이탈을 줄이기 위해 시뮬레이션 중 사용자 샘플링을 구현합니다.
• 다양한 데이터 포맷을 지원하도록 프레임워크를 설계하여 교차 데이터셋 적응성을 확보하였으며, ML-1m 데이터셋을 통해 이를 검증했습니다.
• 각 작업 수준에 표준화된 평가 프로토콜과 기준 알고리즘을 제공하여 재현 가능성과 벤치마킹 기능을 보장합니다.

실험 결과

연구 질문

• RQ1 시뮬레이터는 실제적인 방식으로 다중 행동 사용자 피드백(예: 클릭, 좋아요, 전달)과 장기적 유지율 신호를 얼마나 잘 포착할 수 있는가?
• RQ2 실제 로그 데이터를 기반으로 훈련된 시뮬레이터가 실제 사용자 행동 분포와 얼마나 일치하는가?
• RQ3 통합된 시뮬레이터 프레임워크는 요청, 세션, 세션 간 수준의 다양한 추천 작업을 서로 다른 추상화 수준에서 효과적으로 지원할 수 있는가?
• RQ4 슬레이트 크기 및 최대 시간 스텝과 같은 주요 하이퍼파라미터의 변화에 따라 시뮬레이터 성능은 어떻게 변하는가?
• RQ5 벤치마크 작업에서 기존 시뮬레이터와 비교했을 때 KuaiSim의 행동 충실도와 모델 성능은 어떠한가?

주요 결과

• KuaiSim에서 모델 성능을 고려할 때 최적의 슬레이트 크기는 20이며, 슬레이트 크기가 너무 작으면 항목 커버리지가 부족하고 너무 크면 과도한 노이즈와 사용자 피로가 발생하여 성능이 저하됩니다.
• 최대 시간 스텝이 20일 경우 시뮬레이션에서 가장 높은 수익을 기록하며, 다른 설정에서는 수익 일자 값이 2.2에서 2.3 사이로 안정화되어 하이퍼파라미터 변화에 대한 강건성을 보입니다.
• KuaiSim은 다양한 파rameter 설정에서도 일관되고 안정적인 학습 성능를 보이며, 시뮬레이터의 학습 에이전트의 신뢰성과 강건성을 확인합니다.
• 실제 로그 데이터를 사용해 즉각적 반응, 세션 종료, 세션 간 유지율과 같은 핵심 사용자 행동을 성공적으로 재현함으로써 현실성과 충실도를 향상시켰습니다.
• ML-1m 데이터셋에 성공적으로 배포된 것으로 확인되어, 프레임워크가 다른 데이터셋에 쉽게 적응 가능함을 입증하였으며, 이는 유연성과 확장성의 증거입니다.
• KuaiRand 데이터셋에서의 비교 평가 결과, 특히 장기적 유지율 신호 모델링에서 기존 시뮬레이터를 능가하거나 동등하게 성능을 발휘함으로써 KuaiSim이 행동 역학을 잘 포착함을 입증했습니다.