[論文レビュー] Thompson Sampling for Dynamic Pricing

Ravi Ganti, Mátyás A. Sustik+2 more|arXiv (Cornell University)|Feb 8, 2018

Advanced Bandit Algorithms Research参考文献 22被引用数 15

ひとこと要約

本論文は、eコマースにおける動的価格設定のためのトンプソンサンプリング（TS）を提案し、受動的学習に代えて能動的探索を導入することで収益を向上させる。事後分布から需要モデルのパラメータをサンプリングし、毎日価格を最適化することで、Max-Rev-TSアルゴリズムは統計的に有意な収益向上を達成した—特に十分に大きな割合の商品に適用された場合に顕著であり、生産環境における能動的動的価格設定の初の実世界での導入を示している。

ABSTRACT

In this paper we apply active learning algorithms for dynamic pricing in a prominent e-commerce website. Dynamic pricing involves changing the price of items on a regular basis, and uses the feedback from the pricing decisions to update prices of the items. Most popular approaches to dynamic pricing use a passive learning approach, where the algorithm uses historical data to learn various parameters of the pricing problem, and uses the updated parameters to generate a new set of prices. We show that one can use active learning algorithms such as Thompson sampling to more efficiently learn the underlying parameters in a pricing problem. We apply our algorithms to a real e-commerce system and show that the algorithms indeed improve revenue compared to pricing algorithms that use passive learning.

研究の動機と目的

• 歴史的データを用いるが能動的探索を行わない受動的学習の限界に対処すること。
• 探索と活用のバランスを取ることで長期収益を向上させる、動的価格設定のための能動的学習アルゴリズムを開発・導入すること。
• トンプソンサンプリングが実際の生産環境eコマースシステムで実現可能で効果的であることを示すこと。
• TSで更新された商品の割合（信号対ノイズ比）が、能動的動的価格設定のパフォーマンスに与える影響を調査すること。
• 実世界の環境で測定可能な収益結果を用いて、能動的学習（Max-Rev-TS）を標準的な受動的学習（Max-Rev-Passive）と比較すること。

提案手法

• 需要を価格のパrametric関数としてモデル化し、既知の関数形（例：対数線形）を仮定し、未知のパラメータを有する。
• ベイズの定理による閉形式の事後分布更新を可能にするために、需要モデルのパラメータに共役事前分布を用いる。
• 各時刻において、現在の事後分布からモデルパラメータの集合をサンプリングして不確実性を表現する。
• サンプリングされたパラメータを用いて収益関数を最適化し、次にテストする価格を決定する。
• 新しい価格を適用し、それに伴う需要を観測した後、観測データを用いて事後分布を更新する。
• 有限の期間にわたりこのプロセスを繰り返し、アルゴリズムは自然に不確実領域（探索）と高報酬領域（活用）のバランスを取る。

実験結果

リサーチクエスチョン

• RQ1 トンプソンサンプリングは、大規模eコマースシステムにおける実世界の動的価格設定に効果的に適用可能か？
• RQ2 トンプソンサンプリングによる能動的学習は、収益の長期的パフォーマンスにおいて受動的学習に比べてどのように異なるか？
• RQ3 信号対ノイズ比（すなわち、TSで更新された商品の割合）が、能動的動的価格設定のパフォーマンスに与える影響は何か？
• RQ4 なぜMax-Rev-TSは生産環境の異なる商品バスケットで一貫性のないパフォーマンスを示すのか？
• RQ5 どのような条件下で、能動的学習が受動的学習に比べて統計的に有意な収益向上をもたらすのか？

主な発見

• バケット $β_2$ において、Max-Rev-TSは商品1件あたりの収益で統計的に有意な改善を達成した。10日間のフィルタに対してp値は $3.13 \times 10^{-7}$、平均収益増加は1件あたり1.649であった。
• バケット $β_1$ では収益が減少したが、その結果は有意ではなかった（20日間のフィルタでp値 = 0.00099）。これはノイズや信号対ノイズ比の低さによるものと示唆される。
• 信号対ノイズ比（$|\mathcal{B}_{TS}| / |\mathcal{B}_{\textsc{Max-Rev}}|$）は、$β_1$ で0.004、$β_2$ で0.1であり、これがパフォーマンスの差を説明している。
• TSで更新される商品の割合が低かった（例：$β_1$ で0.4%）場合、TSの更新はノイズが大きすぎて信頼できる改善が得られなかった。
• TSがサブセットでパフォーマンスを向上させた場合でも、全体のMax-Revソルバーは$β_{TS}$での利益を他の商品とトレードオフする可能性があり、システム全体での改善が見えにくくなる可能性がある。
• 本研究は、トンプソンサンプリングを用いた能動的動的価格設定の実世界での生産環境への導入を、初めて実証した。信号対ノイズ比が十分に高い場合、測定可能な収益向上が得られることを示している。