[論文レビュー] Dynamic Pricing with Finitely Many Unknown Valuations

Nicolò Cesa‐Bianchi, Tommaso Cesari+1 more|arXiv (Cornell University)|Jul 9, 2018

Advanced Bandit Algorithms Research参考文献 23被引用数 4

ひとこと要約

本稿は、[0,1] 内の有限個の未知の買主評価値を想定した動的価格設定を研究し、収益最大化を、K 個の評価値の数と位置が未知である確率的バンディット問題としてモデル化する。K=2 の場合、非確率的状況では √T のオーダーのレグレットバウンドを達成するアルゴリズムを提示し、分布依存状況では O((log T)/Δ) のレグレットバウンドを達成する。K>2 の場合、最小需要低下 γ が既知であると、より良いバウンドが得られる。

ABSTRACT

Motivated by posted price auctions where buyers are grouped in an unknown number of latent types characterized by their private values for the good on sale, we investigate revenue maximization in stochastic dynamic pricing when the distribution of buyers' private values is supported on an unknown set of points in [0,1] of unknown cardinality $K$. This setting can be viewed as an instance of a stochastic $K$-armed bandit problem where the location of the arms (the $K$ unknown valuations) must be learned as well. In the distribution-free case, we prove that our setting is just as hard as $K$-armed stochastic bandits: no algorithm can achieve a regret significantly better than $\sqrt{KT}$, (where T is the time horizon); we present an efficient algorithm matching this lower bound up to logarithmic factors. In the distribution-dependent case, we show that for all $K>2$ our setting is strictly harder than $K$-armed stochastic bandits by proving that it is impossible to obtain regret bounds that grow logarithmically in time or slower. On the other hand, when a lower bound $γ>0$ on the smallest drop in the demand curve is known, we prove an upper bound on the regret of order $(1/Δ+(\log \log T)/γ^2)(K\log T)$. This is a significant improvement on previously known regret bounds for discontinuous demand curves, that are at best of order $(K^{12}/γ^8)\sqrt{T}$. When $K=2$ in the distribution-dependent case, the hardness of our setting reduces to that of a stochastic $2$-armed bandit: we prove that an upper bound of order $(\log T)/Δ$ (up to $\log\log$ factors) on the regret can be achieved with no information on the demand curve. Finally, we show a $O(\sqrt{T})$ upper bound on the regret for the setting in which the buyers' decisions are nonstochastic, and the regret is measured with respect to the best between two fixed valuations one of which is known to the seller.

研究の動機と目的

• 買主が [0,1] 内の未知の有限個の K 点からなる集合に属する私的評価値を有する状況における動的価格設定を扱う。K や評価値についての事前知識なしに、K と評価値の両方を学習する必要がある。
• 売り手が評価値の数と位置の両方を学習しなければならない状況において、分布フリーおよび分布依存設定におけるレグレットを分析する。
• 未知の評価値点の探索と高収益価格の活用の両立を図る効率的なアルゴリズムを開発する。
• 確率的バンディット枠組みにおいて、アームの数と位置の両方を学習する際の困難さを反映したタイトなレグレットバウンドを確立する。

提案手法

• 動的価格設定問題を、[0,1] 内の未知の評価値に対応する K アームの確率的バンディット問題として定式化し、報酬は x·D(x) から得られるものとする。
• 未知の評価値を特定するため、動的に調整された探索行動を用いた Exp3 アルゴリズムを提案する。特に、K=2 で一つの評価値が既知である場合に有効である。
• Exp3 における損失の低減メカニズムを導入し、動的に調整された価格 b_t > v_1 が却下された場合に損失を過小評価することで、誤った探索に起因するレグレットを制限する。
• K>2 の場合、需要曲線の最小低下の下界 γ が既知であると、レグレットの上界が (1/Δ + (log log T)/γ²)·(K log T) のオーダーで得られる。
• 非確率的状況では、候補価格を拒否された際に T^{-1/2} だけ減少させる離散化と適応的調整戦略を採用し、未知の評価値に収束させる。
• 動的調整された探索価格 b_t を扱うために、非盲目的な敵対的レグレットバウンドを Exp3 に適用し、安定性と収束性を保証する。

実験結果

リサーチクエスチョン

• RQ1 買主評価値の分布が [0,1] 内の未知の有限個の K 点に台を持つ場合、動的価格設定におけるレグレットはどのようにスケーリングされるか？
• RQ2 未知の K 個の評価値の数と位置を学習する問題は、標準的な K アームの確率的バンディット問題よりも本質的に難しいか？
• RQ3 特に K>2 の場合に、需要曲線の最小低下の下界 γ が既知であると、改善されたレグレットバウンドが達成可能か？
• RQ4 K=2 の分布依存状況において、最適なレグレットは何か？標準的なバンディット設定と比較するとどうなるか？
• RQ5 K>2 の分布依存状況において、対数未満のレグレットが達成可能か、それとも問題は本質的に困難であるか？

主な発見

• 分布フリー状況では、レグレットは Ω(√(KT)) で下界され、本稿では O(√(KT) log T) のレグレットを達成するアルゴリズムを提示し、対数要因を除いて下界と一致する。
• K>2 の分布依存状況では、レグレットが対数的に増加することは不可能であり、最小需要低下の下界 γ が既知の場合、O((1/Δ + (log log T)/γ²)·(K log T)) が達成可能である。
• K=2 で下界 γ が既知の場合、レグレットは O((log T)/Δ) で抑えられ、log log T 要因を除いて標準的な 2 アームバンディットと同等の性能を達成する。
• 2 つの固定評価値（1 つが既知）を伴う非確率的状況では、需要曲線に関する事前知識がなくても、O(√T) のレグレットバウンドを確立できる。
• 損失の低減と適応的価格調整を施した Exp3 を用いた提案アルゴリズムは、非確率的 2 評価値状況で O(√T) のレグレットを達成する。厳密な証明は、制限された調整ステップと損失の過小評価に依存する。
• 本稿では、未知の評価値の数と位置を学習することは、標準的なバンディット問題と比較して根本的に困難性を増すことを示している。特に K>2 の場合顕著である。