[論文レビュー] Dynamic Assortment Optimization with Changing Contextual Information

Xi Chen, Yining Wang+1 more|arXiv (Cornell University)|Oct 31, 2018

Advanced Bandit Algorithms Research参考文献 22被引用数 27

ひとこと要約

本稿は、時間変動する特徴量に依存する線形関数として定式化される非定常な文脈的MNLモデルにおける動的アソートメント最適化のUCBベースのポリシーを提案する。この手法は、組み合わせのサイズ $K$ が定数のとき、対数要因を除いて最適な $ widetilde{O}(dackslashsqrt{T})$ のレグレットバウンドを達成し、高次元の特徴空間における組み合わせ最適化のための効率的な近似アルゴリズムを導入する。

ABSTRACT

In this paper, we study the dynamic assortment optimization problem under a finite selling season of length $T$. At each time period, the seller offers an arriving customer an assortment of substitutable products under a cardinality constraint, and the customer makes the purchase among offered products according to a discrete choice model. Most existing work associates each product with a real-valued fixed mean utility and assumes a multinomial logit choice (MNL) model. In many practical applications, feature/contexutal information of products is readily available. In this paper, we incorporate the feature information by assuming a linear relationship between the mean utility and the feature. In addition, we allow the feature information of products to change over time so that the underlying choice model can also be non-stationary. To solve the dynamic assortment optimization under this changing contextual MNL model, we need to simultaneously learn the underlying unknown coefficient and makes the decision on the assortment. To this end, we develop an upper confidence bound (UCB) based policy and establish the regret bound on the order of $\widetilde O(d\sqrt{T})$, where $d$ is the dimension of the feature and $\widetilde O$ suppresses logarithmic dependence. We further established the lower bound $Ω(d\sqrt{T}/K)$ where $K$ is the cardinality constraint of an offered assortment, which is usually small. When $K$ is a constant, our policy is optimal up to logarithmic factors. In the exploitation phase of the UCB algorithm, we need to solve a combinatorial optimization for assortment optimization based on the learned information. We further develop an approximation algorithm and an efficient greedy heuristic. The effectiveness of the proposed policy is further demonstrated by our numerical studies.

研究の動機と目的

• 製品の効用が変化する文脈的特徴に依存して時間とともに変化する状況における動的アソートメント最適化を解決すること。
• 未知の効用係数を同時に学習し、組み合わせ制約のもとで最適なアソートメントを選択するバンディット学習ポリシーを開発すること。
• 平均効用を時間変動する製品特徴量の線形関数としてモデル化することで、非定常な選好行動を扱うこと。
• UCBポリシーにおける計算が困難な組み合わせ最適化ステップに対して、効率的な近似アルゴリズムを設計すること。
• 現実的な仮定の下で、対数要因を除いて最適なレグレットバウンドを確立すること。

提案手法

• 特徴量 $v_{tj}$ が時間変動する線形文脈的MNLモデル $u_{tj} = v_{tj}^T \theta_0$ を用いて問題を定式化する。
• 未知の係数 $\theta_0$ の信頼区間を維持することで、探索と活用のバランスを取るUCBベースのポリシーを提案する。
• ランダム射影を介して高次元の組み合わせ最適化を複数の単変量問題に還元する多変量近似アルゴリズム（アルゴリズム5）を導入する。
• 特徴量を射影するために、単位球面上から抽出されたランダムベクトル $y^{(\ell)}$ を用い、低次元問題を効率的に解く。
• 複数の射影から得られる最良のサブセットを選択するためのグリーディーヒューリスティックを採用し、期待収益と信頼区間項を最大化する。
• 集中不等式とスペクトル解析を用いて近似誤差とレグレットのバウンドを理論的に保証する。

実験結果

リサーチクエスチョン

• RQ1 製品の効用が時間変動する文脈的特徴に依存する状況において、UCBベースのポリシーがサブ線形レグレットを達成できるか？
• RQ2 提案されたポリシーの性能は、特徴次元 $d$ および時間枠 $T$ に対してどのようにスケーリングされるか？
• RQ3 この非定常的かつ文脈的なMNL設定におけるレグレットの根本的限界は何か？また、ポリシーはその限界にどの程度近づけるか？
• RQ4 高次元特徴量下でUCBフレームワークにおけるNP困難な組み合わせ最適化ステップに対して、効率的な近似アルゴリズムを設計できるか？
• RQ5 ランダム射影の次元 $L$ の選択が、レグレットと計算コストのトレードオフにどのように影響するか？

主な発見

• 提案されたUCBポリシーは、組み合わせサイズ $K$ が定数のとき、対数要因を除いて最適な $ widetilde{O}(dackslashsqrt{T})$ のレグレットバウンドを達成する。
• 下界 $ Omega(dackslashsqrt{T}/K)$ が確立され、$K$ が小さいとき、ポリシーのレグレットが対数要因を除いて最適であることが示された。
• $L \asymp \log(1/\delta)$ のランダム射影で $ sqrt{d}$-近似を達成する近似アルゴリズムが開発された。また、$L \asymp e^{O(d)}\log(1/\delta)$ で $2$-近似が達成された。
• 近似誤差 $ veps = T^{-1/2}$ かつ失敗確率 $ delta = T^{-2}$ のとき、1ステップあたりの計算コストは $ widetilde{O}(K^9 N \nu^3 (1+\nu)^8 d^4 T^4)$ である。
• 近似誤差が $ sqrt{d}$ の場合、累積レグレットは $O(\sqrt{d}) \cdot \mathrm{Regret}^*$ で上界が与えられ、$2$-近似の場合は $O(1) \cdot \mathrm{Regret}^*$ で上界が与えられる。
• 数値実験により、動的文脈情報を持つ実用的状況において、提案ポリシーの有効性が確認された。