[논문 리뷰] Reinforcing User Retention in a Billion Scale Short Video Recommender System

Qingpeng Cai, Shuchang Liu외 7명|arXiv (Cornell University)|2023. 02. 03.

Recommender Systems and Techniques인용 수 4

한 줄 요약

이 논문은 Kuaishou의 빌리언 스케일 단편 영상 추천 시스템에서 사용자 유지를 최적화하기 위해 무한 시간 할당 기반의 마르코프 결정 과정(MDP)으로서의 유지를 모델링하는 강화학습 프레임워크인 RLUR를 제안한다. 장기간 지연되고 불확실하며 편향된 유지를 측정하는 신호 문제를 해결하기 위해 새로운 정규화 기법과 이중 크리틱 학습 목표를 도입하여, 실시간 배포에서 사용자 유지율과 일일 활성 사용자 수(DAU)에 지속적인 향상을 이끌어냈다.

ABSTRACT

Recently, short video platforms have achieved rapid user growth by recommending interesting content to users. The objective of the recommendation is to optimize user retention, thereby driving the growth of DAU (Daily Active Users). Retention is a long-term feedback after multiple interactions of users and the system, and it is hard to decompose retention reward to each item or a list of items. Thus traditional point-wise and list-wise models are not able to optimize retention. In this paper, we choose reinforcement learning methods to optimize the retention as they are designed to maximize the long-term performance. We formulate the problem as an infinite-horizon request-based Markov Decision Process, and our objective is to minimize the accumulated time interval of multiple sessions, which is equal to improving the app open frequency and user retention. However, current reinforcement learning algorithms can not be directly applied in this setting due to uncertainty, bias, and long delay time incurred by the properties of user retention. We propose a novel method, dubbed RLUR, to address the aforementioned challenges. Both offline and live experiments show that RLUR can significantly improve user retention. RLUR has been fully launched in Kuaishou app for a long time, and achieves consistent performance improvement on user retention and DAU.

연구 동기 및 목표

• 기존의 포인트와리 또는 리스트와리 모델로는 효과적으로 캐치할 수 없는 단편 영상 추천에서 장기적인 사용자 유지율을 최적화하는 데 도전한다.
• 사용자 유지율을 장기적 요청 기반의 마르코프 결정 과정으로 모델링하며, 세션 간 누적 복귀 시간을 최소화하는 것이 목표이다.
• 표준 강화학습 알고리즘의 직접 적용을 방해하는 장기간 지연, 불확실성, 편향이 있는 유지율 피드백 문제를 해결한다.
• 실세계 배포에서 앱 실행 빈도와 사용자 유지율을 향상시키는 가용성, 안정성, 효과성을 확보한 RL 기반 정책을 개발한다.
• 오프라인 평가와 생산 규모 플랫폼에서의 장기적인 실시간 A/B 실험을 통해 방법의 타당성을 검증한다.

제안 방법

• 무한 시간 할당 기반의 MDP로 추천 문제를 수식화하며, 에이전트(추천 시스템)는 장기적 사용자 복귀를 최적화하기 위해 순서 정렬 가중치를 선택한다.
• 복귀 시간을 예측하고 유지율 보상 신호의 분산을 줄이는 데 기여하는 새로운 정규화 기법을 도입하여 학습 안정성을 향상시킨다.
• 세션 수준의 복귀 성과를 평가하는 유지율 크리틱과 각 요청에 대한 피드백(시청 시간, 좋아요 등)을 평가하는 즉각적 보상 크리틱을 조합한 이중 크리틱 학습 목표를 설계한다.
• 8가지의 다른 피드백 신호(예: 시청 시간, 좋아요, 댓글 등)에 대한 순서 정렬 가중치를 표현하기 위해 8차원 벡터의 연속적 행동 공간을 사용한다.
• 행동 샘플링을 위한 평균과 분산을 출력하는 가우시안 정책 네트워크(에이전트)를 적용하여 학습 중 탐색을 가능하게 한다.
• 유지율 크리틱과 즉각적 보상 크리틱을 조합한 가중 손실 함수를 사용하여 정책을 학습하며, 안정성과 성능을 위해 하이퍼파라미터를 조정한다.

Figure 1. The infinite horizon request-based MDP and the framework of RLUR

실험 결과

연구 질문

• RQ1 실세계 단편 영상 추천 시스템에서 장기적 사용자 유지율을 최적화하기 위해 강화학습을 효과적으로 적용할 수 있는가?
• RQ2 사용자 유지율 피드백의 장기간 지연, 불확실성, 편향 문제를 어떻게 완화하여 안정적인 RL 학습을 가능하게 할 수 있는가?
• RQ3 세션 수준의 유지율과 요청 수준의 피드백을 조합한 이중 크리틱 접근법이 단일 크리틱 또는 단순한 RL 방법보다 정책 학습 성능을 향상시키는가?
• RQ4 제안된 정규화 기법이 유지율 보상 신호의 분산을 줄이고 학습 수렴을 향상시키는가?
• RQ5 RLUR 정책이 실시간 배포에서 DAU 및 사용자 유지율과 같은 핵심 비즈니스 지표에 미치는 장기적 영향은 어떠한가?

주요 결과

• 오프라인 평가에서 RLUR는 1.892시간의 복귀 시간을 기록하여 CEM(2.036) 및 TD3(2.009)와 같은 기준 모델보다 뚜렷이 뛰어난 성능을 보였다.
• 실시간 실험에서 RLUR는 100일 후 앱 실행 빈도를 0.450% 향상시켰으며, CEM 기준 모델 대비 DAU에서 0.2%의 격차를 보였다.
• 1일차 유지율은 기준 모델 대비 0.053% 향상되었고, 7일차에는 0.063% 향상되었으며, 빌리언 스케일 플랫폼의 맥락에서 통계적 유의성이 확인되었다.
• 성능 향상은 일관되고 점진적이었으며, 특히 80일차에서 100일차 사이에 급격한 향상이 관찰되어 안정적이고 수렴하는 학습을 확인했다.
• RLUR는 시간이 지남에 따라 지속적인 향상을 보였고, 성능 저하 없이 안정적인 성능 유지를 확인하여 생산 환경에서의 강건성과 확장성을 입증했다.
• 제거 실험 결과, 제안된 정규화 및 이중 크리틱 구성 요소가 필수적임을 확인하였으며, γ=0.9로 설정된 RLUR(naive)는 전체 RLUR 모델보다 열등한 성능을 보였다.

Figure 2. Live performance gap of each day.