[論文レビュー] Dynamic Pricing under Finite Space Demand Uncertainty: A Multi-Armed Bandit with Dependent Arms

Pouya Tehrani, Yixuan Zhai+1 more|arXiv (Cornell University)|Jun 23, 2012

Advanced Bandit Algorithms Research参考文献 10被引用数 4

ひとこと要約

本稿では、有限な需要不確実性下での相関するアームを有するマルチアームバンディット問題に対して、尤度比検定（LRT）に基づく動的価格設定方針を提案する。未知の需要をN通りの可能性のある形の一つとしてモデル化し、逐次尤度比検定を用いることで、標準的な独立アームを有するマルチアームバンディットが示す対数的増加を示す誤差とは異なり、有界な誤差を達成する。これにより完全な学習と最適収益への収束が可能となる。

ABSTRACT

We consider a dynamic pricing problem under unknown demand models. In this problem a seller offers prices to a stream of customers and observes either success or failure in each sale attempt. The underlying demand model is unknown to the seller and can take one of N possible forms. In this paper, we show that this problem can be formulated as a multi-armed bandit with dependent arms. We propose a dynamic pricing policy based on the likelihood ratio test. We show that the proposed policy achieves complete learning, i.e., it offers a bounded regret where regret is defined as the revenue loss with respect to the case with a known demand model. This is in sharp contrast with the logarithmic growing regret in multi-armed bandit with independent arms.

研究の動機と目的

• 未知の需要モデル下での動的価格設定を扱う。売り手は事前の知識なしに、探索と活用のバランスを取らなければならない。
• 価格設定問題を、価格間の需要応答が相関しているため、相関するアームを有するマルチアームバンディットとしてモデル化する。
• 真の需要モデルの不確実性にもかかわらず、完全な学習（有限な誤差）を達成する非ベイズ的方針を開発する。
• 一般化された方針バージョン（XLRT）において、探索価格を導入することで学習速度を向上させ、誤差性能を改善する。

提案手法

• 動的価格設定問題を、N個の相関するアームを有するマルチアームバンディットとして定式化する。各アームは価格に対応し、報酬はその価格における期待収益である。
• 観測された販売結果の尤度を、各候補需要モデルのもとで逐次的に比較するため、尤度比検定（LRT）を適用する。
• 観測結果の対数尤度比を用いて、探索を継続するか、最も可能性の高い需要モデルに切り替えるかを決定する。
• XLRT方策において、重要な価格水準の十分なサンプリングを保証するため、探索価格を導入することで学習を加速し、誤差を低減する。
• 累積対数尤度比がゼロ未満に下がるという停止ルールを用い、劣悪なモデルを棄却するのに十分な証拠があることを示す。
• 集中不等式を用いて誤差の理論的上限を導出し、劣悪な価格が選択される回数の期待値が、モデルの発散に依存する定数で有界かつ有限であることを示す。

実験結果

リサーチクエスチョン

• RQ1 有限な需要不確実性下で、相関するアームを有するマルチアームバンディット設定において、非ベイズ的動的価格設定方策が有界な誤差を達成できるか？
• RQ2 未知の需要モデル下で、尤度比検定方策は、CMBPなどの既存方策と比較して誤差性能においてどのように異なるか？
• RQ3 一般化された方策バージョン（XLRT）において、探索価格を導入することで、相関するアームを有する動的価格設定における学習速度と誤差低減にどのような影響を与えるか？
• RQ4 提案された方策は、真の需要モデルが初期に不明であっても、完全な学習（有限な誤差で最適価格への収束）を保証するか？
• RQ5 モデル依存の発散測度（例：KL発散）は、LRT方策における理論的誤差上限にどのように影響を与えるか？

主な発見

• 提案されたLRT方策は、有界な誤差を達成する。これは、ホライズンTが増加するにつれて、既知の需要モデルとの収益損失の期待値が有限のままであることを意味する。
• 誤差は(N−1)Cで上界が与えられる。ここでCは、真の需要モデルと候補需要モデル間の最小Kullback-Leibler発散に依存する定数である。
• 探索価格を含むXLRT方策は、特に初期学習段階において、標準LRT方策と比較して著しく誤差を低減する。
• シミュレーション結果では、LRTは2つのテストされた需要モデルのケースにおいてCMBP方策を上回り、異なる潜在的需要構造下でも低い誤差を示した。
• 理論的分析により、劣悪な価格が選択される回数の期待値が有限かつ有界であることが証明され、LRT方策下での完全な学習が確認された。
• 対数尤度比の集中不等式を用いた解析により、誤って劣悪なモデルを支持する確率が指数関数的に減少することが示され、方策が最適価格への収束が保証された。