[論文レビュー] A Probabilistic Simulator of Spatial Demand for Product Allocation

Porter Jenkins, Hua Wei+2 more|arXiv (Cornell University)|Jan 9, 2020

Consumer Market Behavior and Pricing参考文献 15被引用数 6

ひとこと要約

本稿では、物理的小売環境における製品配置の最適化を可能にする確率的空間需要シミュレータ（PSD-sim）を提案する。このシミュレータにより、店舗レイアウト全体における需要パターンのコスト効率の良いシミュレーションが可能となる。実世界の小売データで訓練されたシミュレータは、強化学習（特にDeep Q-Networks: DQN）を用いて最適な製品割り当てポリシーを発見可能であり、ベースライン手法と比較して累積報酬で平均24.5%の向上を達成した。

ABSTRACT

Connecting consumers with relevant products is a very important problem in both online and offline commerce. In physical retail, product placement is an effective way to connect consumers with products. However, selecting product locations within a store can be a tedious process. Moreover, learning important spatial patterns in offline retail is challenging due to the scarcity of data and the high cost of exploration and experimentation in the physical world. To address these challenges, we propose a stochastic model of spatial demand in physical retail. We show that the proposed model is more predictive of demand than existing baselines. We also perform a preliminary study into different automation techniques and show that an optimal product allocation policy can be learned through Deep Q-Learning.

研究の動機と目的

• 物理的小売環境における製品配置の最適化という課題に取り組む。ここではデータが乏しく、実世界での実験が高コストである。
• 実世界の販売ダイナミクスを反映した、店舗領域間の空間的需要パターンを正確にモデル化する確率的シミュレータを開発する。
• シミュレートされた環境で強化学習を用いて、自動的に製品割り当てポリシーを学習可能にする。
• 特にDeep Q-Learningを含むさまざまな最適化手法の有効性を評価し、高性能な割り当て戦略を発見する。
• シミュレーションベースの学習が、トゥーブ・サーチなどの従来のヒューリスティック手法を上回ることを実証する。

提案手法

• 空間的小売環境は、頂点が店舗領域を表し、辺が空間的隣接関係を表すグラフ $\mathcal{R} = (\mathcal{V}, \mathcal{E})$ としてモデル化される。
• 実際の歴史的販売データおよび製品配置データを用いて、2つの小売店舗から得たデータで、空間的需要モデルPSD-simを訓練し、領域間での需要分布を予測する。
• このモデルは、製品配置と販売の間の非線形的かつ複雑な相関関係を捉え、観測されていない構成の合成データを生成可能である。
• シミュレータは、最適な製品割り当てポリシーを学習するためのDeep Q-Network（DQN）エージェントの報酬環境として使用される。
• DQNエージェントは、状態空間（製品-領域の割り当て）、行動空間（移動行動）、報酬関数（累積収益）が定義されたマルコフ決定過程（MDP）フレームワークで動作する。
• 物理的実験なしに、新しい割り当て戦略の探索を効率的に行うために、シミュレータを用いてモンテカルロロールアウトを可能にする。

実験結果

リサーチクエスチョン

• RQ1 確率的シミュレータは、実世界の小売環境における観測された空間的需要パターンを正確に再現できるか？
• RQ2 提案されたシミュレータは、観測されていない製品割り当て構成に対する現実的な需要予測をどの程度効果的に生成できるか？
• RQ3 特にDeep Q-Learningを用いた強化学習エージェントは、ヒューリスティックベースラインと比較して優れた製品割り当てポリシーを学習できるか？
• RQ4 製品配置の最適化において、コストの高い実世界実験の必要性をどの程度シミュレータが低減できるか？
• RQ5 累積収益という観点から、DQNはトゥーブ・サーチなどの従来の最適化手法をどの程度上回る性能を示すか？

主な発見

• 提案された確率的空間的需要シミュレータ（PSD-sim）は、2つの実世界小売環境で真値テストデータを効果的に再現し、高い予測精度を示した。
• シミュレータは、高価な物理的実験に依存することなく、製品割り当て戦略の効率的かつコスト効率の良い探索を可能にした。
• Deep Q-Learning（DQN）は、シミュレートされた環境内で最適な製品割り当てポリシーを効果的に学習し、ベースライン手法を上回った。
• 平均して、DQNはトゥーブ・サーチという強力なヒューリスティックベースラインに対して、累積テスト報酬で24.5%の向上を達成した。
• モデルは、単純なモデルが捉えきれない、製品配置と販売の間の複雑な非線形的空間的依存関係を捉えている。
• シミュレータはスケーラブルなポリシー探索を可能にし、強化学習における効率的な探索のためのモンテカルロロールアウトを実行可能である。