[논문 리뷰] Toward Simulating Environments in Reinforcement Learning Based Recommendations

Xiangyu Zhao, Long Xia외 3명|arXiv (Cornell University)|2019. 06. 27.

Advanced Bandit Algorithms Research참고 문헌 46인용 수 17

한 줄 요약

이 논문은 역사적 전자상거래 로그에서 실제 사용자 피드백 시퀀스를 생성하는 GAN 기반 사용자 시뮬레이터인 RecSimu를 제안한다. 이는 강화학습(RL)-기반 추천 시스템의 사전 훈련 및 평가를 위해 사용된다. 생성자와 판별자가 함께 훈련되어, 복잡한 상품 분포를 모델링하고 사용자 피드백을 예측함으로써 기존의 기준 대비 행동 예측 성능을 크게 향상시킨다. 이는 오프라인 RL 알고리즘 개발을 효율적으로 가능하게 한다.

ABSTRACT

With the recent advances in Reinforcement Learning (RL), there have been tremendous interests in employing RL for recommender systems. However, directly training and evaluating a new RL-based recommendation algorithm needs to collect users' real-time feedback in the real system, which is time and efforts consuming and could negatively impact on users' experiences. Thus, it calls for a user simulator that can mimic real users' behaviors where we can pre-train and evaluate new recommendation algorithms. Simulating users' behaviors in a dynamic system faces immense challenges -- (i) the underlining item distribution is complex, and (ii) historical logs for each user are limited. In this paper, we develop a user simulator base on Generative Adversarial Network (GAN). To be specific, the generator captures the underlining distribution of users' historical logs and generates realistic logs that can be considered as augmentations of real logs; while the discriminator not only distinguishes real and fake logs but also predicts users' behaviors. The experimental results based on real-world e-commerce data demonstrate the effectiveness of the proposed simulator.

연구 동기 및 목표

• RL 기반 추천 시스템에 대한 온라인 A/B 테스트의 높은 비용과 위험을 줄이기 위해 시뮬레이션 환경에서의 사전 훈련 및 평가를 가능하게 하기 위해.
• 기존의 생성 모델이 어려운, 희박한 사용자 역사적 로그 내에서 고차원의 복잡한 상품 분포 패턴을 모델링하기 위해.
• 클릭, 스킵, 구매 등의 실제 사용자 행동을 모방하는 현실적인 사용자 피드백 시퀀스를 생성하여 강화학습 알고리즘의 견고한 평가를 가능하게 하기 위해.
• 사용자당 데이터 부족 문제를 해결하기 위해, 적은 사용자 로그를 현실적인 합성 시퀀스로 증강하기 위해 적대적 훈련을 활용하기 위해.
• 실제 전자상거래 데이터를 사용하여 시뮬레이터의 효과성을 검증하고, 이를 통해 최종 사용자 행동 예측 성능 향상을 입증하기 위해.

제안 방법

• 생성자와 판별자가 함께 훈련되는 생성적 적대적 네트워크(GAN) 프레임워크를 사용하며, 생성자는 이전 로그에서 사용자 상호작용 시퀀스의 잠재 분포를 학습한다.
• 생성자는 실제 로그와 구분되지 않는 합성 사용자 피드백 시퀀스를 생성하여, RL 에이전트 훈련을 위한 데이터 증강으로 기능한다.
• 판별자는 주어진 시퀀스에서 특정 상품에 대한 실제 로그와 가짜 로그를 구분하고, 동시에 클릭/스킵/구매와 같은 사용자 피드백을 예측하도록 훈련된다.
• 판별자는 피드백 레이블에 대한 지도 학습과 로그의 현실성에 대한 비지도 학습을 동시에 활용하며, 다양한 목표를 통합하여 행동 모델링 성능을 향상시킨다.
• 생성자와 판별자는 적대적 방식으로 훈련되며, 생성자는 현실성 향상을, 판별자는 가짜 로그 탐지 및 피드백 예측 능력을 향상시킨다.
• 개별 사용자 데이터가 아닌 전체 사용자 기반의 집계된 행동 패턴을 기반으로 학습하므로, 희박한 사용자 데이터를 효과적으로 처리할 수 있도록 설계되었다.

실험 결과

연구 질문

• RQ1 GAN 기반 시뮬레이터는 RL 기반 추천 시스템의 훈련 및 평가를 향상시킬 정도로 현실적인 사용자 피드백 시퀀스를 생성할 수 있는가?
• RQ2 제안된 시뮬레이터는 기존의 기준 대비 사용자 행동 예측 성능 향상에 얼마나 효과적인가?
• RQ3 특히 드문 피드백 유형(예: 구매)에 대해 시뮬레이터가 데이터 부족 문제를 어느 정도 완화할 수 있는가?
• RQ4 판별자의 피드백 예측 기능을 활용하여 생성된 로그의 현실성과 유용성을 향상시킬 수 있는가?
• RQ5 온라인 배포 이전에 RL 에이전트를 사전 훈련하는 데에 사용했을 때 시뮬레이터의 성능은 어떠한가?

주요 결과

• 제안된 RecSimu 시뮬레이터는 강력한 기준 대비 사용자 행동 예측 성능을 크게 향상시켜, 현실적인 사용자 피드백 시퀀스 생성의 효과성을 입증한다.
• 기존의 데이터 증강 및 생성 모델에 비해, GAN 기반 접근법이 희박한 사용자 로그 내에서 복잡한 상품 분포 패턴을 더 잘 포착함을 보였다.
• 판별자의 이중 기능(실제 vs. 가짜 로그 식별 및 피드백 예측)이 더 견고하고 현실적인 행동 모델링을 가능하게 했다.
• 시뮬레이터를 통해 RL 에이전트의 효과적인 사전 훈련이 가능해져, 생산 환경에서의 비용이 많이 들고 위험이 큰 온라인 A/B 테스트의 필요성을 줄였다.
• 실제 전자상거래 데이터에 대해 높은 일반화 성능을 보이며, 추천 시스템에 실질적인 구현 가능성을 입증했다.
• 제거 실험(ablation study) 결과, 생성자의 분포 학습 능력과 판별자의 피드백 예측 능력이 시뮬레이터 성공에 핵심적인 요소임을 확인했다.