[論文レビュー] Perishability of Data: Dynamic Pricing under Varying-Coefficient Models

Adel Javanmard|arXiv (Cornell University)|Jan 13, 2017

Advanced Bandit Algorithms Research参考文献 17被引用数 11

ひとこと要約

本稿は、時間変動する買い手の好みを反映する高次元特徴に基づく動的で高次元の製品に対して、変化する係数を持つ線形モデルを用いた予測的勾配降下法（PSGD）価格設定方針を提案する。敵対的特徴の下では $ O(\sqrt{T} + \sum_{t=1}^{T}\sqrt{t}\delta_{t}) $、確率的特徴の下では $ O(d^{2}\log T + \sum_{t=1}^{T}t\delta_{t}/d) $ のレグレットバウンドを確立し、ここで $\delta_t$ は時間的パラメータ変動の尺度である。

ABSTRACT

We consider a firm that sells a large number of products to its customers in an online fashion. Each product is described by a high dimensional feature vector, and the market value of a product is assumed to be linear in the values of its features. Parameters of the valuation model are unknown and can change over time. The firm sequentially observes a product's features and can use the historical sales data (binary sale/no sale feedbacks) to set the price of current product, with the objective of maximizing the collected revenue. We measure the performance of a dynamic pricing policy via regret, which is the expected revenue loss compared to a clairvoyant that knows the sequence of model parameters in advance. We propose a pricing policy based on projected stochastic gradient descent (PSGD) and characterize its regret in terms of time $T$, features dimension $d$, and the temporal variability in the model parameters, $δ_t$. We consider two settings. In the first one, feature vectors are chosen antagonistically by nature and we prove that the regret of PSGD pricing policy is of order $O(\sqrt{T} + \sum_{t=1}^T \sqrt{t}δ_t)$. In the second setting (referred to as stochastic features model), the feature vectors are drawn independently from an unknown distribution. We show that in this case, the regret of PSGD pricing policy is of order $O(d^2 \log T + \sum_{t=1}^T tδ_t/d)$.

研究の動機と目的

• 製品価値が高次元で時間変動する特徴に依存するオンラインマーケットプレイスにおける動的価格設定を扱う。
• 時間変動係数 $\theta_t$ を用いて買い手の評価額を線形関数としてモデル化し、好みの変化を反映する。
• 企業の収益を、$\theta_t$ を事前に知っているクラリベイント政策と比較するレグレット最小化問題として定式化する。
• 敵対的特徴選択と確率的特徴生成の2つの設定における性能を分析する。
• 時間的変動性 $\theta_t$ が学習と収益損失に与える影響を、レグレットバウンドを用いて定量的に評価する。

提案手法

• 時間的に変化する買い手の評価額を表すために、変化係数を持つ線形モデル $v_t(x_t) = \langle x_t, \theta_t \rangle + z_t$ を用いる。
• 過去の取引から得られるバイナリフィードバック（販売／非販売）を用いて、逐次的に $\theta_t$ を推定するために予測的勾配降下法（PSGD）を適用する。
• 探索と活用のバランスを取るために、学習率 $\lambda_t$ を設計し、$\lambda_t \propto 1/(t(1 + \sum_{\ell=1}^{t} \sigma_\ell))$ と定める。
• 経験的共分散行列 $Q_t = (1/t)\sum_{\ell=1}^t x_\ell x_\ell^T$ の固有値の境界を用いて、$\theta_t$ の信頼集合を構築する。
• 確率的特徴の下で推定誤差を制御するために、サブガウス分布の濃縮とワイエルの不等式を用いる。
• マルティンゲールの濃縮と指数モーメントを用いて、推定誤差と収益損失の高確率バウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 時間的変動性（$\delta_t$）が動的価格設定方針のレグレットに与える影響は何か？
• RQ2 時間変動パラメータ下で、探索（$\theta_t$ の学習）と活用（最適価格設定）の最適なトレードオフは何か？
• RQ3 レグレットは時間 $T$、特徴次元 $d$、時間的変動性 $\delta_t$ に対してどのようにスケーリングされるか？
• RQ4 PSGDベースの方針は、敵対的および確率的特徴モデルの両方でサブラインアーなレグレットを達成できるか？
• RQ5 学習方針と $\theta_t$ を事前に知っているクラリベイント方針との間のパフォーマンスギャップは何か？

主な発見

• 敵対的特徴の下では、PSGD方針はレグレット $O(\sqrt{T} + \sum_{t=1}^{T} \sqrt{t} \delta_t)$ を達成し、時間とともにサブラインアーに増加し、初期の変動に敏感であることが示された。
• 確率的特徴の下では、レグレットは $O(d^2 \log T + \sum_{t=1}^{T} t \delta_t / d)$ となり、$T$ に対して対数的依存性と $d$ に依存する時間的変動性のスケーリングを示した。
• 確率的特徴の下でのレグレットバウンドは、$d$ が大きいほど改善され、$\delta_t$ が $d$ 次元にわたって平均化され、有効な変動性が低下するためである。
• 分析により、経験的共分散 $Q_t$ の最小固有値 $\sigma_t$ が、$t \gtrsim d^2 \log T$ のとき、高確率で $\sigma_{\min}$ のまわりに集中することが示された。
• 学習率 $\lambda_t$ は収束を保証し、推定誤差を制御するために選ばれ、$1/(t\lambda_t)$ が $6/\ell_M$ で有界であるように設定された。
• サブガウス分布の濃縮とマルティンゲール不等式を用いて、推定誤差の高確率バウンドが導出され、レグレットの厳密な制御が可能になった。