[논문 리뷰] Self-Supervised Reinforcement Learning for Recommender Systems

Xin Xin, Alexandros Karatzoglou외 2명|arXiv (Cornell University)|2020. 06. 10.

Recommender Systems and Techniques참고 문헌 40인용 수 17

한 줄 요약

이 논문은 장기적 보상 최적화를 위해 이중 헤드를 갖춘 자기지도 강화학습(SRL)을 제안한다: 하나는 자기지도 학습을 위한 것이고, 다른 하나는 강화학습(RL)을 위한 것이다. RL 헤드는 높은 가치의 행동(예: 구매)의 예측을 향상시키기 위한 정규화 요소로 작용하며, 실제 전자상거래 데이터에서 구매 예측 성능이 지도 기반 기준 모델을 능가한다.

ABSTRACT

In session-based or sequential recommendation, it is important to consider a number of factors like long-term user engagement, multiple types of user-item interactions such as clicks, purchases etc. The current state-of-the-art supervised approaches fail to model them appropriately. Casting sequential recommendation task as a reinforcement learning (RL) problem is a promising direction. A major component of RL approaches is to train the agent through interactions with the environment. However, it is often problematic to train a recommender in an on-line fashion due to the requirement to expose users to irrelevant recommendations. As a result, learning the policy from logged implicit feedback is of vital importance, which is challenging due to the pure off-policy setting and lack of negative rewards (feedback). In this paper, we propose self-supervised reinforcement learning for sequential recommendation tasks. Our approach augments standard recommendation models with two output layers: one for self-supervised learning and the other for RL. The RL part acts as a regularizer to drive the supervised layer focusing on specific rewards(e.g., recommending items which may lead to purchases rather than clicks) while the self-supervised layer with cross-entropy loss provides strong gradient signals for parameter updates. Based on such an approach, we propose two frameworks namely Self-Supervised Q-learning(SQN) and Self-Supervised Actor-Critic(SAC). We integrate the proposed frameworks with four state-of-the-art recommendation models. Experimental results on two real-world datasets demonstrate the effectiveness of our approach.

연구 동기 및 목표

• 지속적인 사용자 참여도와 다양한 상호작용 유형(예: 클릭 대비 구매)을 포괄하지 못하는 지도 기반 순차적 추천 모델의 한계를 해결하기 위해.
• 강화학습을 추천에 적용할 때 발생하는 과제, 즉 순수한 오프-폴리시 학습과 부정적 피드백의 부재를 극복하기 위해.
• 모델 최적화를 원하는 장기적 보상과 일치시키기 위해 강화학습을 정규화 요소로 통합하여 추천 품질을 향상시키기 위해.
• 온라인 상호작용 없이 기록된 암시적 피드백을 사용하여 지도 학습 헤드와 RL 헤드를 동시에 훈련할 수 있는 프레임워크를 개발하기 위해.

제안 방법

• 기존 순차적 추천 모델에 두 개의 출력 헤드를 추가한다: 하나는 다음 아이템 예측에 대한 교차 엔트로피 손실을 사용하는 자기지도 학습용이고, 다른 하나는 Q-학습 또는 액터-크리틱을 위한 강화학습용이다.
• 자기지도 학습 헤드를 통해 훈련 중 강력한 기울기 신호를 제공하고, RL 헤드를 통해 장기적 보상 최대화를 향한 정규화를 수행한다.
• 오프-폴리시 강화학습 알고리즘(SQN 및 SAC)을 사용하여 기록된 상호작용 데이터에서 학습함으로써 온라인 배포 위험을 피한다.
• 지도 학습 헤드는 자기지도 학습을 통해 학습하고, RL 헤드는 사용자 참여 목표(예: 구매)를 최적화하도록 하는 이중 목표 훈련 체계를 구현한다.
• 즉각적 보상과 장기적 보상 간의 균형을 위해 할인 요소를 사용하며, 아블레이션 분석 결과 최적의 성능은 중간 수준의 할인 요소 γ 값(예: 0.9)에서 나타난다.
• 최신 기술의 네 가지 모델(예: GRU)과 제안된 프레임워크를 통합하고, 두 개의 실제 전자상거래 데이터셋(RC15, RetailRocket)에서 평가한다.

실험 결과

연구 질문

• RQ1 자기지도 강화학습이 장기적 사용자 참여도를 고려할 때 순차적 추천 성능을 향상시킬 수 있는가?
• RQ2 RL 헤드를 정규화 요소로 통합했을 때 지도 기반 추천 모델의 성능에 어떤 영향을 미치는가?
• RQ3 오프-폴리시 강화학습 환경에서 다양한 할인 요소가 추천 품질에 어떤 영향을 미치는가?
• RQ4 암시적 사용자 상호작용에서의 부정적 피드백 부재 문제를 어떻게 다루는가?
• RQ5 제안된 프레임워크가 구매와 같은 고가치 행동을 예측하는 데 지도 기반 기준 모델을 능가할 수 있는가?

주요 결과

• 제안된 SQN 및 SAC 프레임워크는 RC15 데이터셋에서 구매 예측의 히트 레이트(HR@10)를 0.54로 향상시켜 기본 GRU 모델(0.5183)을 능가한다.
• 할인 요소 γ가 증가할수록 성능이 향상되며, γ=0.9에서 최고 성능을 보이며 장기적 보상 모델링이 추천 품질 향상에 기여함을 시사한다.
• 과도한 할인(γ=0.99)은 평균 세션 길이가 약 6개의 상호작용 수준에 머무르는 데 기인해 성능 저하를 초래함을 확인하여, γ=0.9가 추천 작업에 최적임을 입증한다.
• Q-학습만을 사용한 추천 성능은 기본 GRU 모델보다 열 劣하며, 이는 정규화 없이 직접 강화학습을 적용할 경우 이 설정에서 효과적이지 않음을 확인한다.
• 자기지도 학습 헤드는 강력한 기울기 신호를 제공하여, RL 헤드가 정규화 요소로만 사용되더라도 효과적인 공동 훈련이 가능함을 보여준다.
• 제안된 방법은 다양한 모델에 일반화 가능하며, 네 가지 최신 기술의 추천 아키텍처에 통합했을 때 성능 향상을 이룬다.