[논문 리뷰] RecSim: A Configurable Simulation Platform for Recommender Systems

Eugene Ie, Chih‐Wei Hsu외 6명|arXiv (Cornell University)|2019. 09. 11.

Advanced Bandit Algorithms Research참고 문헌 59인용 수 51

한 줄 요약

RecSim은 순차 추천 시스템 환경을 작성하기 위한 구성 가능하고 오픈 소스인 시뮬레이션 플랫폼을 제공함으로써 라이브 시스템에 배포하지 않고도 RL/Rs 연구를 가능하게 한다.

ABSTRACT

We propose RecSim, a configurable platform for authoring simulation environments for recommender systems (RSs) that naturally supports sequential interaction with users. RecSim allows the creation of new environments that reflect particular aspects of user behavior and item structure at a level of abstraction well-suited to pushing the limits of current reinforcement learning (RL) and RS techniques in sequential interactive recommendation problems. Environments can be easily configured that vary assumptions about: user preferences and item familiarity; user latent state and its dynamics; and choice models and other user response behavior. We outline how RecSim offers value to RL and RS researchers and practitioners, and how it can serve as a vehicle for academic-industrial collaboration.

연구 동기 및 목표

• 컨트롤 가능한 환경에서의 순차적 사용자-추천자 상호작용 연구를 가능하게 한다.
• RL 및 RS 알고리즘의 스트레스 테스트를 위해 다양한 사용자, 아이템 및 응답 다이내믹스를 신속하게 실험할 수 있게 한다.
• 학계와 산업계 간의 재현성 및 협업을 촉진하는 오픈 플랫폼을 제공한다.
• 구성 가능한 환경과 기본 에이전트를 통해 벤치마킹과 정성적 분석을 지원한다.

제안 방법

• 환경을 사용자 모델, 문서 모델, 그리고 사용자 선택 모델로 구성된 동적 베이지안 네트워크로 정의한다.
• 선택 모델(예: 다항 로짓, 지수 연쇄)을 통해 슬레이트 기반 추천과 구성 가능한 사용자 응답을 가능하게 한다.
• RL 실험을 용이하게 하기 위해 시뮬레이터를 OpenAI Gym 환경으로 래핑한다.
• 배치 RL 지원을 통한 궤적 추적 기록을 포함한 로깅 및 평가 파이프라인을 도입한다.
• 기본 에이전트와 전처리/후처리 계층을 조합하는 계층적 에이전트 아키텍처를 도입하여 유연한 정책 설계를 가능하게 한다.
• API 사용 예시를 보여주고 즉시 테스트를 제공하기 위해 기본 RL 및 밴딧 기반 에이전트를 제공한다.

실험 결과

연구 질문

• RQ1 추천 환경을 어떻게 구성하여 다양한 사용자 행동 및 상태 다이나믹스를 반영할 수 있는가?
• RQ2 구성 가능한 시뮬레이션이 순차 설정에서 RL/RS 알고리즘의 개발 및 평가를 가속화할 수 있는가?
• RQ3 탐색 및 견고성을 지원하는 RecSim의 아키텍처 패턴(예: 계층적 에이전트)은 무엇인가?
• RQ4 RecSim이 연구자와 실무자 간의 재현성과 협업을 어떻게 촉진할 수 있는가?

주요 결과

• RecSim은 순차 RS 연구에 적합한 사용자, 문서, 선택 다이내믹스를 가진 맞춤형 환경을 생성할 수 있게 한다.
• 환경을 OpenAI Gym 엔티티로 래핑하고 배치-RL 친화적 로깅을 제공함으로써 RL 실험을 지원한다.
• 계층적 에이전트 인터페이스는 기본 에이전트를 구성하고 구성 가능한 전처리/후처리로 복잡한 의사결정 파이프라인을 모델링하게 한다.
• RecSim은 SlateQ 스타일의 환경과 다양한 기본 환경 및 에이전트를 포함하여 API 사용 예와 예시로 삼을 수 있도록 한다.
• 아키텍처는 실제 시스템의 충실도보다 스타일화된, 스트레스 테스트 모델에 중점을 두어 알고리즘 개발 및 검증을 진전시키는 데 초점을 둔다.