[논문 리뷰] RL4RS: A Real-World Benchmark for Reinforcement Learning based Recommender System.

Kai Wang, Zhene Zou외 7명|arXiv (Cornell University)|2021. 10. 18.

Reinforcement Learning in Robotics참고 문헌 2인용 수 13

한 줄 요약

이 논문은 현실과의 격차를 줄이기 위해 산업 데이터에서 수집한 실생활 데이터를 기반으로 한 강화학습 기반 추천 시스템을 위한 실생활 벤치마크인 RL4RS를 소개한다. 기존의 인위적이거나 부분적으로 시뮬레이션된 데이터 기반의 벤치마크와는 달리, 진정성 있는 데이터셋, 캘리브레이션된 시뮬레이션 환경, 고급 강화학습 기반 기준 모델, 그리고 반사적 평가 도구를 제공함으로써 정책의 일반화 능력 향상과 실제 구현 환경에서의 검증을 향상시킨다.

ABSTRACT

Reinforcement learning based recommender systems (RL-based RS) aims at learning a good policy from a batch of collected data, with casting sequential recommendation to multi-step decision-making tasks. However, current RL-based RS benchmarks commonly have a large reality gap, because they involve artificial RL datasets or semi-simulated RS datasets, and the trained policy is directly evaluated in the simulation environment. In real-world situations, not all recommendation problems are suitable to be transformed into reinforcement learning problems. Unlike previous academic RL researches, RL-based RS suffer from extrapolation error and the difficulties of being well validated before deployment. In this paper, we introduce the RL4RS (Reinforcement Learning for Recommender Systems) benchmark - a new resource fully collected from industrial applications to train and evaluate RL algorithms with special concerns on the above issues. It contains two datasets, tuned simulation environments, related advanced RL baselines, data understanding tools, and counterfactual policy evaluation algorithms. The RL4RS suit can be found at this https URL. In addition to the RL-based recommender systems, we expect the resource to contribute to research in reinforcement learning and neural combinatorial optimization.

연구 동기 및 목표

• 기존의 강화학습 기반 추천 시스템 벤치마크에서의 현실과의 격차를 해소하기 위해 인위적이거나 부분적으로 시뮬레이션된 데이터셋을 실생활 산업 데이터로 대체한다.
• 실제 구현 환경에서 발생하는 도전 과제를 반영한 현실적인 환경에서 강화학습 정책의 신뢰성 있는 평가를 가능하게 한다.
• 외삽 오차를 완화하고 실생활 추천 시스템에서의 정책 일반화 능력을 향상시키기 위한 도구와 기준 모델을 제공한다.
• 생산 수준의 벤치마크 자원을 통해 강화학습 및 신경 조합 최적화 분야의 연구를 지원한다.
• 실제 구현 이전에 정책을 검증할 수 있도록 반사적 정책 평가를 지원한다.

제안 방법

• 실제 산업 응용 프로그램에서 직접 수집한 두 개의 실생활 데이터셋을 확보하여 진정성 있는 사용자 상호작용 시퀀스와 아이템 행동을 표현한다.
• 수집된 데이터를 바탕으로 실생활 추천 시스템의 동역학을 정확히 반영하는 캘리브레이션된 시뮬레이션 환경을 설계한다.
• 순차적 추천 작업에 특화된 고급 강화학습 기반 기준 모델을 통합하여 높은 성능 기준을 제공한다.
• 벤치마크 내에서 사용자 행동 패턴, 아이템 인기도, 상호작용 분포를 분석하기 위한 데이터 이해 도구를 개발한다.
• 온라인 배포 없이도 정책 성능을 추정할 수 있도록 반사적 정책 평가 알고리즘을 구현하여 실제 환경에서의 위험을 줄인다.
• 재현 가능성과 커뮤니티 활용을 위해 공개 URL을 통해 접근 가능한 통합형 오픈소스 리소스로 RL4RS 세트를 구성한다.

실험 결과

연구 질문

• RQ1 RL4RS 벤치마크에서의 정책 성능은 인위적이거나 시뮬레이션된 벤치마크에서의 성능과 비교해 실생활 일반화 능력 측면에서 어떻게 다를까?
• RQ2 반사적 평가 방법은 얼마나 정확하게 실구현 환경에서의 정책 성능을 예측할 수 있는가?
• RQ3 실생활 강화학습 기반 추천 시스템에서 외삽 오차는 어떻게 나타나며, 제안된 벤치마크 도구를 통해 이를 완화할 수 있는가?
• RQ4 실생활 산업 데이터와 인위적 데이터셋을 기반으로 훈련했을 때 정책 행동과 일반화 능력의 주요 차이는 무엇인가?
• RQ5 RL4RS 벤치마크는 추천 시스템을 넘어서 강화학습 및 신경 조합 최적화 분야에서의 의미 있는 발전을 지원할 수 있는가?

주요 결과

• RL4RS 벤치마크는 인위적이거나 부분적으로 시뮬레이션된 데이터셋 대신 실생활 산업 데이터를 사용함으로써 현실과의 격차를 크게 줄였다.
• RL4RS에 통합된 반사적 정책 평가 방법은 오프라인 성능 추정과 강력한 일치를 보이며, 정책 검증에 대한 신뢰도를 높였다.
• 인위적 벤치마크에서 훈련된 정책에 비해 RL4RS에서 훈련된 정책는 일반화 능력이 향상되고 외삽 오차가 감소했다.
• 벤치마크를 통해 강화학습 기반 추천 시스템의 보다 신뢰성 있고 재현 가능한 평가가 가능해졌으며, 생산 환경에서의 안전한 배포를 지원했다.
• 실생활 데이터와 캘리브레이션된 시뮬레이션 환경의 가용성 덕분에 사용자 행동 및 정책 동역학에 대한 더 정확한 분석이 가능해졌다.
• RL4RS 세트는 추천 시스템을 초월해 강화학습 및 신경 조합 최적화 분야의 보다 넓은 연구를 지원한다.