[논문 리뷰] RecSim NG: Toward Principled Uncertainty Modeling for Recommender Ecosystems

Martin Mladenov, Chih‐Wei Hsu외 8명|arXiv (Cornell University)|2021. 03. 14.

Topic Modeling참고 문헌 62인용 수 9

한 줄 요약

RecSim NG는 Edward2와 TensorFlow 기반으로 구축된 확장성 있고, 미분 가능하며 확률론적인 시뮬레이션 플랫폼으로, 원칙적인 불확실성 처리 방식을 통해 다중 에이전트 추천 생태계를 모델링한다. 이 플랫폼은 사용자 및 공급자 행동의 엔드 투 엔드 시뮬레이션을 가능하게 하며, 확률론적 추론을 통한 정책 평가 및 잠재 모델 학습을 지원하고, 생태계 인식 정책과 최적의 보조 제한값(예: L=1.2)이 장기적인 사용자 유틸리티(161.34 대비 130.77)를 크게 향상시킨다는 점을 입증한다.

ABSTRACT

The development of recommender systems that optimize multi-turn interaction with users, and model the interactions of different agents (e.g., users, content providers, vendors) in the recommender ecosystem have drawn increasing attention in recent years. Developing and training models and algorithms for such recommenders can be especially difficult using static datasets, which often fail to offer the types of counterfactual predictions needed to evaluate policies over extended horizons. To address this, we develop RecSim NG, a probabilistic platform for the simulation of multi-agent recommender systems. RecSim NG is a scalable, modular, differentiable simulator implemented in Edward2 and TensorFlow. It offers: a powerful, general probabilistic programming language for agent-behavior specification; tools for probabilistic inference and latent-variable model learning, backed by automatic differentiation and tracing; and a TensorFlow-based runtime for running simulations on accelerated hardware. We describe RecSim NG and illustrate how it can be used to create transparent, configurable, end-to-end models of a recommender ecosystem, complemented by a small set of simple use cases that demonstrate how RecSim NG can help both researchers and practitioners easily develop and train novel algorithms for recommender systems.

연구 동기 및 목표

• 장기적인 수평에서의 반사적 추론이 필요한 비미시적, 상호작용형 추천 시스템을 훈련하고 평가하는 데에 정적 데이터셋의 한계를 해결하기 위해.
• 사용자, 콘텐츠 공급자, 추천 시스템 간의 복잡하고 동적인 상호작용을 원칙적이고 모듈화되며 인과적으로 구조화된 방식으로 모델링하기 위해.
• 정책 평가 및 새로운 추천 알고리즘의 엔드 투 엔드 훈련을 지원하는 확장 가능한 시뮬레이션 플랫폼을 제공하기 위해.
• 사용자 만족도와 콘텐츠 다양성의 균형을 고려한 생태계 인식 전략을 포함한 추천 정책의 트레이드오프를 탐색할 수 있도록 하기 위해.
• 시뮬레이션에서 실세계로의 전이 및 오픈소스 확장성을 통해 이식 가능하고 일반화 가능한 모델 개발을 지원하기 위해.

제안 방법

• RecSim NG는 Edward2와 TensorFlow를 사용한 확률 프로그래밍 프레임워크로 구현되어 있어, 에이전트 행동 및 상태 동역학을 모듈화하고 조합 가능한 방식으로 기술할 수 있다.
• 확률 분포와 잠재 변수를 사용하여 사용자 선호도, 선택 행동, 참여도 및 상태 전이의 인과적 생성 모델링을 지원한다.
• 자동 미분 및 추적 기능을 통합하여 상호작용 트레이제터리에서 잠재 변수 모델의 확률론적 추론 및 엔드 투 엔드 훈련을 가능하게 한다.
• TPU와 같은 하드웨어 가속기에서 효율적인 실행을 지원하는 TensorFlow 기반 런타임을 제공하여 대규모 생태계의 고속도 시뮬레이션을 가능하게 한다.
• 커뮤니티 구조, 선택 모델, 콘텐츠 생성 역학과 같은 환경 파라미터를 구성 가능하게 하여 다양한 생태계 조건을 시뮬레이션할 수 있다.
• 몬테카를로 시뮬레이션 및 확률론적 추론을 통한 추천 정책 평가를 지원하며, 온라인 및 배치 훈련 워크플로우를 모두 지원한다.

실험 결과

연구 질문

• RQ1 원칙적인 불확실성과 인과적 구조를 갖춘 장기적 수평, 다단계 상호작용을 추천 시스템에서 어떻게 모델링할 수 있는가?
• RQ2 콘텐츠 보조와 같은 생태계 인식 정책이 장기적 사용자 유틸리티와 전체 시스템 복지에 어떤 영향을 미치는가?
• RQ3 커뮤니티 구조나 콘텐츠 다양성과 같은 다양한 환경 설정에서 비미시적, 상호작용형 추천 정책의 성능은 어떻게 변화하는가?
• RQ4 RecSim NG와 같은 시뮬레이션 플랫폼이 새로운 강화학습 기반 추천 알고리즘의 개발 및 평가를 얼마나 가속화할 수 있는가?
• RQ5 하드웨어 가속 및 미분 가능 프로그래밍을 활용하여 시뮬레이션 기반 훈련 및 추론을 어떻게 확장성 있고 효율적으로 만들 수 있는가?

주요 결과

• 보조 제한값 파라미터 L=1.2를 가진 생태계 인식 정책이 300단계 동안 누적 사용자 유틸리티 161.34를 달성하여, 비미시적 정책(130.77)보다 뚜렷이 뛰어난 성능을 보였다.
• L=1.2를 초과하는 보조 제한값 파라미터 설정은 누적 사용자 유틸리티를 감소시켰으며, 이는 저조도 공급자를 과도하게 유인함으로써 관련성 저하가 발생해 사용자 만족도가 떨어지기 때문임을 시사한다.
• Google TPUv2를 사용할 경우 CPU 대비 시뮬레이션 런타임이 6배 빨라졌으며, 이는 대규모 정책 평가에 있어 강력한 하드웨어 가속 잠재력을 보여준다.
• 플랫폼은 다양한 생태계 모델의 구성 및 평가를 성공적으로 지원하였으며, 조정 가능한 커뮤니티 구조와 다양한 사용자 선택 및 콘텐츠 생성 역학을 포함하였다.
• RecSim NG에서의 확률론적 추론 및 잠재 변수 학습의 활용은 상호작용 트레이제터리에서 효과적인 모델 훈련을 가능하게 하여 데이터 기반 정책 개발을 가능하게 하였다.
• 이 프레임워크는 강력한 구성 가능성과 확장성을 입증하였으며, 단순한 정책 비교부터 복잡한 실제 세계 시뮬레이션 시나리오까지 모두 지원하였다.