[논문 리뷰] Rethinking Reinforcement Learning for Recommendation: A Prompt Perspective

Xin Xin, Tiago Pimentel외 4명|arXiv (Cornell University)|2022. 06. 15.

Advanced Bandit Algorithms Research인용 수 5

한 줄 요약

이 논문은 다음 아이템 추천을 위한 새로운 오프라인 훈련 프레임워크인 프롬프트 기반 강화학습(Prompt-Based Reinforcement Learning, PRL)을 제안한다. PRL은 상태-보상 쌍을 프롬프트로 간주하여 직접 추천 아이템을 예측하는 방식으로 강화학습을 지도학습 문제로 재구성한다. 두 개의 전자상거래 데이터셋에서 평가한 결과, PRL는 역사적 데이터를 지식 기반으로 활용하여 온라인 탐색 오차 없이 세션 기반 추천에서 뛰어난 성능을 달성하며, 기존의 강화학습 방법을 능가한다.

ABSTRACT

Modern recommender systems aim to improve user experience. As reinforcement learning (RL) naturally fits this objective -- maximizing an user's reward per session -- it has become an emerging topic in recommender systems. Developing RL-based recommendation methods, however, is not trivial due to the \emph{offline training challenge}. Specifically, the keystone of traditional RL is to train an agent with large amounts of online exploration making lots of `errors' in the process. In the recommendation setting, though, we cannot afford the price of making `errors' online. As a result, the agent needs to be trained through offline historical implicit feedback, collected under different recommendation policies; traditional RL algorithms may lead to sub-optimal policies under these offline training settings. Here we propose a new learning paradigm -- namely Prompt-Based Reinforcement Learning (PRL) -- for the offline training of RL-based recommendation agents. While traditional RL algorithms attempt to map state-action input pairs to their expected rewards (e.g., Q-values), PRL directly infers actions (i.e., recommended items) from state-reward inputs. In short, the agents are trained to predict a recommended item given the prior interactions and an observed reward value -- with simple supervised learning. At deployment time, this historical (training) data acts as a knowledge base, while the state-reward pairs are used as a prompt. The agents are thus used to answer the question: \emph{ Which item should be recommended given the prior interactions \& the prompted reward value}? We implement PRL with four notable recommendation models and conduct experiments on two real-world e-commerce datasets. Experimental results demonstrate the superior performance of our proposed methods.

연구 동기 및 목표

• 강화학습 기반 추천에서 온라인 탐색이 비용이 많이 들고 비현실적인 오프라인 훈련 과제를 해결하기 위해.
• 다양하거나 알려지지 않은 행동 정책 하에 수집된 고정된 역사적 데이터에서 효과적인 정책 학습이 가능한 방법을 개발하기 위해.
• 강화학습 추천 과제를 프롬프트 기반 추론 문제로 재구성하여 일반화 능력을 향상시키고 분포 이탈 문제를 줄이기 위해.
• 역사적 상호작용 시퀀스와 보상 신호를 사용하여 단순 지도학습을 통해 강화학습 에이전트를 훈련할 수 있도록 하기 위해.
• 실세계 환경에서 여러 최신의 순차적 추천 모델에 대해 PRL의 효과성을 입증하기 위해.

제안 방법

• PRL는 강화학습 목표를 재정의한다: 상태-행동 쌍의 Q-값을 학습하는 대신, 주어진 상태(사용자 이력)와 프롬프트된 보상 값에 기반해 직접 추천 아이템을 예측한다.
• 이 방법은 역사적 사용자 상호작용 시퀀스와 관측된 보상을 입력 프롬프트로 간주하고, 지도학습을 통해 최적의 행동(추천 아이템)을 출력하도록 모델을 학습한다.
• 훈련 데이터는 오프라인 로그에서 추출한 (상태, 보상, 행동) 삼중조로 구성되며, 행동은 사용자가 상호작용한 아이템들이다.
• 모델 아키텍처는 순차적 인코더에 무관하다. PRL는 GRU, CNN, Transformer 등 어떤 순차적 모델과도 통합 가능하여 사용자 상태를 표현할 수 있다.
• 추론 시, 에이전트는 다음과 같은 질문에 답한다: "이 상태와 원하는 보상 기대치를 고려할 때 어떤 아이템을 추천해야 할까?"
• 정책 평가 및 개선 루프를 피하기 위해 프롬프트(상태 + 보상)를 직접 행동으로 매핑함으로써 분산과 분포 이탈을 줄인다.

실험 결과

연구 질문

• RQ1 프롬프트 기반 학습 프레임워크가 오프라인 추천 환경에서 기존의 가치 기반 강화학습을 효과적으로 대체할 수 있는가?
• RQ2 추천 정확도와 내구성 측면에서 PRL는 전통적인 강화학습 및 지도학습 기반 베이스라인과 비교해 어떻게 성능을 내는가?
• RQ3 PRL는 다양한 순차적 모델과 다양한 사용자 행동 패턴을 보이는 실세계 데이터셋 간에 일반화 가능한가?
• RQ4 PRL는 추론 시 보상 기대치와 변동성의 선택에 얼마나 민감한가?
• RQ5 PRL는 온라인 상호작용이나 복잡한 보상 모델링 없이도 기존의 오프라인 강화학습 방법보다 뛰어난 성능을 낼 수 있는가?

주요 결과

• PRL는 두 개의 실세계 전자상거래 데이터셋에서 기존의 강화학습 기반 추천 방법보다 뚜렷이 뛰어난 성능을 보이며, 오프라인 환경에서 뛰어난 성능을 입증했다.
• GRU, CNN, Transformer 기반 아키텍처를 포함한 네 가지 다른 순차적 추천 모델에서 최신 기술 수준의 성능을 달성했다.
• Challenge15에서는 사용자가 높은 보상, 낮은 탐색을 선호하는 경향이 있으며, PRL는 이 선호 패턴에 잘 적응한다.
• RetailRocket에서는 더 높은 탐색(더 큰 보상 변동성)이 약간 더 나은 성능을 내며, PRL는 이 동적 행동을 효과적으로 포착한다.
• 제거 분석 결과, PRL의 성능는 보상 기대치와 변동성의 변동에 대해 강건함을 확인하여 강력한 일반화 능력을 보여준다.
• 결과는 PRL가 분포 이탈을 피하고 정책 학습의 분산을 줄임으로써 오프라인 훈련 과제를 효과적으로 완화함을 검증한다.