[논문 리뷰] A Probabilistic Simulator of Spatial Demand for Product Allocation

Porter Jenkins, Hua Wei외 2명|arXiv (Cornell University)|2020. 01. 09.

Consumer Market Behavior and Pricing참고 문헌 15인용 수 6

한 줄 요약

이 논문은 실물 유통 환경에서의 제품 배치를 모델링하고 최적화하기 위해 확률적 공간 수요 시뮬레이터(PSD-sim)를 제안한다. 이는 매장 레이아웃 전반에 걸쳐 수요 패턴을 비용 효율적으로 시뮬레이션할 수 있도록 한다. 실제 소매 데이터로 훈련된 시뮬레이터를 통해 강화학습—특히 딥 Q네트워크(DQN)—를 활용해 최적의 제품 할당 정책을 발견할 수 있으며, 기준 방법 대비 누적 보상에서 평균 24.5% 향상된 성과를 달성한다.

ABSTRACT

Connecting consumers with relevant products is a very important problem in both online and offline commerce. In physical retail, product placement is an effective way to connect consumers with products. However, selecting product locations within a store can be a tedious process. Moreover, learning important spatial patterns in offline retail is challenging due to the scarcity of data and the high cost of exploration and experimentation in the physical world. To address these challenges, we propose a stochastic model of spatial demand in physical retail. We show that the proposed model is more predictive of demand than existing baselines. We also perform a preliminary study into different automation techniques and show that an optimal product allocation policy can be learned through Deep Q-Learning.

연구 동기 및 목표

• 실제 실험이나 데이터 수집이 어려운 실물 유통 환경에서 제품 배치 최적화 문제를 해결하기 위해.
• 실제 매장 판매 동적 특성을 반영한 지역 간 공간 수요 패턴을 정확히 모델링할 수 있는 확률적 시뮬레이터를 개발하기 위해.
• 모의 환경에서 강화학습을 활용해 제품 할당 정책을 자동으로 학습시키기 위해.
• 특히 딥 Q러닝을 포함한 다양한 최적화 기법의 효과를 평가하고, 고성능 할당 전략을 발견하는 데 기여하기 위해.
• 모의 기반 학습이 전통적인 휴리스틱 방법(예: 탭우 검색)보다 수익 예측 및 최대화에 뛰어나다는 것을 입증하기 위해.

제안 방법

• 공간적 유통 환경은 정점이 매장 지역을 나타내고 간선이 공간적 인접성을 나타내는 그래프 $\mathcal{R} = (\mathcal{V}, \mathcal{E})$ 로 모델링된다.
• 두 개의 소매 매장에서 수집한 실제 역사적 판매 및 제품 배치 데이터를 기반으로 확률적 공간 수요 모델인 PSD-sim을 훈련시켜 지역 간 수요 분포를 예측한다.
• 모델은 제품 위치와 판매 간 비선형적이고 복잡한 상관관계를 포착하여 관측되지 않은 구성에 대한 합성 데이터 생성이 가능하다.
• 시뮬레이터를 사용해 딥 Q네트워크(DQN) 에이전트의 보상 환경으로 활용하여 최적의 제품 할당 정책을 학습한다.
• DQN 에이전트는 정의된 상태 공간(제품-지역 할당), 행동 공간(이동 조치), 보상 함수(누적 수익)를 갖는 마르코프 결정 과정(MDP) 프레임워크 내에서 작동한다.
• 실물 실험 없이도 새로운 할당 전략 탐색을 효율적으로 수행하기 위해 시뮬레이터를 통한 몬테카를로 롤아웃이 가능하다.

실험 결과

연구 질문

• RQ1 확률적 시뮬레이터는 실물 유통 환경에서 관측된 공간 수요 패턴을 정확히 복원할 수 있는가?
• RQ2 제안된 시뮬레이터는 관측되지 않은 제품 할당 구성에 대해 현실적인 수요 예측을 얼마나 효과적으로 생성하는가?
• RQ3 특히 딥 Q러닝 기반 강화학습 에이전트는 휴리스틱 기반 기준 대비 우수한 제품 할당 정책을 학습할 수 있는가?
• RQ4 제품 배치 최적화를 위한 고비용 실물 실험을 얼마나 줄일 수 있는가?
• RQ5 누적 수익 측면에서 DQN은 전통적인 최적화 방법(예: 탭우 검색) 대비 얼마나 높은 성능 향상을 달성하는가?

주요 결과

• 제안된 확률적 공간 수요 시뮬레이터(PSD-sim)는 두 개의 실제 유통 환경에서 참값 테스트 데이터를 효과적으로 복원하여 강력한 예측 정확도를 입증한다.
• 시뮬레이터를 통해 제품 할당 전략 탐색이 효율적이고 비용 효율적으로 이루어지며, 고비용 실물 실험에 대한 의존도가 감소한다.
• 딥 Q러닝(DQN)은 모의 환경 내에서 최적의 제품 할당 정책을 성공적으로 학습하며 기준 방법을 능가한다.
• 평균적으로 DQN은 탭우 검색이라는 강력한 휴리스틱 기준 대비 누적 테스트 보상에서 24.5% 향상된 성과를 달성한다.
• 모델은 단순한 모델이 표현하지 못하는 제품 위치와 판매 간 비선형적이고 복잡한 공간적 종속성을 포착한다.
• 시뮬레이터를 통해 정책 탐색의 확장성이 보장되며, 강화학습에서 효율적 탐색을 위한 몬테카를로 롤아웃 수행이 가능하다.