[論文レビュー] Meta Dynamic Pricing: Learning Across Experiments

Hamsa Bastani, David Simchi‐Levi+1 more|arXiv (Cornell University)|Feb 28, 2019

Advanced Bandit Algorithms Research被引用数 8

ひとこと要約

本稿では、オンラインのトムソンサンプリングと不確実性を考慮した事前分布の拡張を用いて、複数の関連製品の需要パラメータの共有事前分布をリアルタイムで学習するメタ動的価格設定アルゴリズムを提案する。本手法はNに関する非線形なメタリグレットを達成し、実験が豊富な環境においてメタ探索とメタ活用のバランスを取ることで学習を著しく加速する。

ABSTRACT

We study the problem of learning shared structure \emph{across} a sequence of dynamic pricing experiments for related products. We consider a practical formulation where the unknown demand parameters for each product come from an unknown distribution (prior) that is shared across products. We then propose a meta dynamic pricing algorithm that learns this prior online while solving a sequence of Thompson sampling pricing experiments (each with horizon $T$) for $N$ different products. Our algorithm addresses two challenges: (i) balancing the need to learn the prior (\emph{meta-exploration}) with the need to leverage the estimated prior to achieve good performance (\emph{meta-exploitation}), and (ii) accounting for uncertainty in the estimated prior by appropriately widening the prior as a function of its estimation error, thereby ensuring convergence of each price experiment. Unlike prior-independent approaches, our algorithm's meta regret grows sublinearly in $N$; an immediate consequence of our analysis is that the price of an unknown prior in Thompson sampling is negligible in experiment-rich environments with shared structure (large $N$). Numerical experiments on synthetic and real auto loan data demonstrate that our algorithm significantly speeds up learning compared to prior-independent algorithms or a naive approach of greedily using the updated prior across products.

研究の動機と目的

• 関連製品の動的価格設定実験の系列において、需要パラメータ構造の共有を学習する課題に対処すること。
• 共有事前分布の学習（メタ探索）と、その事前分布を活用して価格設定パフォーマンスを向上させること（メタ活用）を、整合的な方法でバランスさせること。
• 推定誤差を考慮して共有事前分布の適応的拡張を施すことにより、個々の価格設定実験の収束を保証すること。
• 共有構造を活用した場合、未知の事前分布の代償が大規模かつ実験が豊富な環境では無視できるほど小さくなることを示すこと。

提案手法

• N個の関連製品に対して、それぞれホライズンTを持つ順次的トムソンサンプリング実験を実行するメタ動的価格設定アルゴリズムを提案する。
• オンライン学習技術を用いて、製品間の需要パラメータにおける共有事前分布を推定する。
• 推定誤差に基づいて事前分布を拡張するメカニズムを導入し、共有事前分布の不確実性にもかかわらず個々の価格設定実験の収束を保証する。
• 推定された事前分布の不確実性に基づいて動的に探索を調整することで、メタ探索とメタ活用のバランスを取る。
• 共有事前分布が新規の価格設定実験結果の到着に応じて段階的に更新される階層ベイジアンフレームワークを採用する。
• 性能損失がNの増加に伴い減少することを示すために、非線形なメタリグレット解析を用いる。

実験結果

リサーチクエスチョン

• RQ1 複数の動的価格設定実験における共有構造をどのように活用して学習効率を向上させることができるか？
• RQ2 共有事前分布を学ぶために探索するのと、それを活用して価格設定パフォーマンスを向上させるのとの間のトレードオフは何か？
• RQ3 推定された共有事前分布の不確実性をどのように定量化し、個々の価格設定実験の収束を保証するために扱うことができるか？
• RQ4 大規模かつ実験が豊富な環境における、事前分布の不確実性が全体のパフォーマンスに与える影響は何か？
• RQ5 事前分布が初期には未知であっても、メタラーニング的手法が製品数Nに関して非線形なメタリグレットを達成できるか？

主な発見

• 提案されたメタ動的価格設定アルゴリズムは、Nに関する非線形なメタリグレットを達成しており、事前分布の不確実性に起因するコストが製品数の増加に伴い減少することを示している。
• 実際の自動車ローンデータおよび合成データにおいて、事前分布に依存しない手法や、更新された事前分布を単純にグリーディに利用する手法と比較して、本アルゴリズムは学習を著しく加速している。
• 推定誤差に基づく事前分布の適応的拡張により、共有事前分布の不確実性にもかかわらず、個々の価格設定実験の収束が保証されている。
• 共有需要構造がある実験が豊富な環境では、トムソンサンプリングにおける未知の事前分布の代償が無視できるほど小さくなる。
• 数値実験により、本アルゴリズムが学習速度およびパフォーマンスの面で、事前分布に依存しないベースラインおよびグリーディアプローチを上回っていることが確認された。