[논문 리뷰] Deep Reinforcement Learning-Based Product Recommender for Online Advertising

Milad Vaali Esfahaani, Yanbo Xue외 1명|arXiv (Cornell University)|2021. 01. 30.

Reinforcement Learning in Robotics참고 문헌 25인용 수 4

한 줄 요약

이 논문은 RecoGym 환경을 사용하여 온라인 광고 추천 시스템에서 딥 강화학습(DRL) 접근법—특히 DQN과 정책 기반(PG) 방법—을 제안하고 비교한다. 순차적 사용자 행동을 모델링하기 위해 LSTM 네트워크를 통합하고 안정성을 높이기 위해 Huber 손실 함수를 적용함으로써, PG 방법이 수렴 속도, CTR, 분산 감소 측면에서 DQN을 능가하며, 특히 고차원 사용자-아이템 공간에서 두각을 나타낸다.

ABSTRACT

In online advertising, recommender systems try to propose items from a list of products to potential customers according to their interests. Such systems have been increasingly deployed in E-commerce due to the rapid growth of information technology and availability of large datasets. The ever-increasing progress in the field of artificial intelligence has provided powerful tools for dealing with such real-life problems. Deep reinforcement learning (RL) that deploys deep neural networks as universal function approximators can be viewed as a valid approach for design and implementation of recommender systems. This paper provides a comparative study between value-based and policy-based deep RL algorithms for designing recommender systems for online advertising. The RecoGym environment is adopted for training these RL-based recommender systems, where the long short term memory (LSTM) is deployed to build value and policy networks in these two approaches, respectively. LSTM is used to take account of the key role that order plays in the sequence of item observations by users. The designed recommender systems aim at maximising the click-through rate (CTR) for the recommended items. Finally, guidelines are provided for choosing proper RL algorithms for different scenarios that the recommender system is expected to handle.

연구 동기 및 목표

• 온라인 광고 추천 시스템을 위한 딥 강화학습 기반 추천 시스템을 설계하고 평가하여 클릭률(CTR)을 최대화한다.
• 순차적 추천 시나리오에서 가치 기반(DQN)과 정책 기반(PG) 딥 RL 알고리즘의 효과성을 조사한다.
• 사용자 상호작용의 시간적 순서를 모델링하기 위해 가치 네트워크와 정책 네트워크에 LSTM을 사용하는 영향을 검토한다.
• 사용자-아이템 공간의 규모에 따라 DQN과 PG 간의 선택에 실용적인 지침을 제공한다.
• DQN 프레임워크에 Huber 손실 함수를 통합하여 훈련 안정성과 성능을 향상시킨다.

제안 방법

• 온라인 광고 시나리오에서 DRL 에이전트를 훈련하고 평가하기 위한 시뮬레이션 플랫폼으로 RecoGym 환경을 사용하였다.
• 사용자 행동의 순차적 종속성을 포착하기 위해 원래의 신경망을 장기 순환 기억(LSTM) 네트워크로 교체함으로써 DQN 아키텍처를 수정하였다.
• 훈련 과정에서 DQN에 Huber 손실 함수를 사용하여 강건성 향상과 훈련 분산 감소를 도모하였다.
• 행동 확률을 소프트맥스 레이어를 통해 출력하는 LSTM 기반 정책 네트워크를 사용하여 정책 기반(PG) 방법을 구현하였으며, 정책 최적화를 위해 다중 분류 교차 엔트로피 손실 함수를 사용하였다.
• DQN과 PG 에이전트를 모두 누적 CTR를 최대화하도록 훈련시켜 실시간 추천 결정을 시뮬레이션하였다.
• 사용자 수와 아이템 수의 로그 스케일 플롯을 사용하여 성능 영역 윤곽을 생성하여 시스템 규모에 따른 알고리즘 선택을 안내하였다.

실험 결과

연구 질문

• RQ1 온라인 광고 추천 시스템에서 가치 기반(DQN)과 정책 기반(PG) 딥 강화학습 알고리즘이 수렴 속도와 CTR 성능 측면에서 어떻게 비교될 수 있는가?
• RQ2 사용자 상호작용의 순차적 순서를 모델링하기 위해 DQN과 PG 네트워크에 LSTM을 통합함으로써 성능 향상 정도는 어느 정도인가?
• RQ3 Huber 손실 함수의 사용이 DQN 기반 추천 시스템의 훈련 안정성과 분산에 어떤 영향을 미치는가?
• RQ4 대규모 전자상거래 플랫폼에서 흔히 볼 수 있는 고차원 상태/행동 공간에서 DQN과 PG 중 어느 알고리즘이 더 우수한 성능을 보이는가?
• RQ5 다양한 사용자 수와 아이템 수 규모에서 DQN과 PG 간의 성능 트레이드오프는 어떠한가? 이러한 트레이드오프는 알고리즘 선택에 어떻게 기여할 수 있는가?

주요 결과

• PG 기반 추천 시스템은 DQN보다 수렴 속도가 더 빠르며, 특히 10,000명의 사용자와 10,000개의 아이템을 가진 대규모 환경에서 CTR의 변동성이 크게 감소하고 분산이 낮아졌다.
• LSTM 기반 DQN은 CNN 기반 DQN보다 수렴 속도, 안정성, 성능 측면에서 뛰어나며, 특히 더 큰 행동 공간에서 사용자 행동의 순차적 특성을 더 잘 모델링함으로써 성능 향상이 두드러졌다.
• 모든 테스트 규모(100명, 1,000명, 10,000명의 사용자 및 아이템)에서 PG 알고리즘이 더 높은 최종 CTR를 기록했으며, DQN보다 더 안정적인 학습 동역학을 보였다.
• 성능 영역 윤곽도 DQN이 저차원 상태/행동 공간에 더 적합하고, PG는 고차원 공간에 더 적합함을 확인하였다.
• DQN에 Huber 손실 함수를 통합함으로써 훈련 안정성이 향상되고 CTR의 분산이 감소하여 보다 신뢰할 수 있는 학습이 가능해졌다.
• 가치 네트워크와 정책 네트워크 양쪽 모두에 LSTM을 사용함으로써 사용자 상호작용의 시간적 순서를 효과적으로 포착하여, 순차적 관찰 패턴에서의 학습 능력이 향상되었다.