[論文レビュー] An Optimal Policy for Dynamic Assortment Planning Under Uncapacitated Multinomial Logit Models

Xi Chen, Yining Wang+1 more|arXiv (Cornell University)|May 12, 2018

Advanced Bandit Algorithms Research参考文献 28被引用数 6

ひとこと要約

本稿は、容量制約なしのマルチノミアル・ロジット（MNL）モデルに対して、三等分に基づく動的アソートメント方策を提案し、製品数 $N$ に依存しない $O(\tilde{O}(\frac{1}{2}\text{log}T))$ の最適なレグレットバウンドを達成する。収益ポテンシャル関数と適応的信頼区間を活用することで、明示的な効用推定を回避し、平均効用や収益分離性に関する仮定なしに、$\tilde{\theta}(\frac{1}{2}\text{log}T)$ の下界と一致させ、最適性を確立する。

ABSTRACT

We study the dynamic assortment planning problem, where for each arriving customer, the seller offers an assortment of substitutable products and customer makes the purchase among offered products according to an uncapacitated multinomial logit (MNL) model. Since all the utility parameters of MNL are unknown, the seller needs to simultaneously learn customers' choice behavior and make dynamic decisions on assortments based on the current knowledge. The goal of the seller is to maximize the expected revenue, or equivalently, to minimize the expected regret. Although dynamic assortment planning problem has received an increasing attention in revenue management, most existing policies require the estimation of mean utility for each product and the final regret usually involves the number of products $N$. The optimal regret of the dynamic assortment planning problem under the most basic and popular choice model---MNL model is still open. By carefully analyzing a revenue potential function, we develop a trisection based policy combined with adaptive confidence bound construction, which achieves an {item-independent} regret bound of $O(\sqrt{T})$, where $T$ is the length of selling horizon. We further establish the matching lower bound result to show the optimality of our policy. There are two major advantages of the proposed policy. First, the regret of all our policies has no dependence on $N$. Second, our policies are almost assumption free: there is no assumption on mean utility nor any "separability" condition on the expected revenues for different assortments. Our result also extends the unimodal bandit literature.

研究の動機と目的

• 容量制約なしのマルチノミアル・ロジット（MNL）選択モデルにおける最適なレグレットのオープン・プロブレムに取り組むこと。
• 製品数 $N$ が時間枠 $T$ に対して大きい場合に、製品効用パラメータの明示的推定が不可能になるため、その推定を回避する方策を設計すること。
• 既存の最尤推定に基づく手法が $N$ に対して多項式的レグレットを示すのに対し、$N$ に依存しないレグレットを達成すること。
• 提案方策のレグレットスケーリングにおける最適性を証明するため、一致する下界を確立すること。

提案手法

• 収益順アソートメントの構造を活用し、最適アソートメントが製品収益のカットオフに対応することを示し、問題を1次元パラメータ $ heta$ の探索に還元する。
• 収益 $ ho_i \geq \theta$ を満たすすべての製品を提供したときの期待収益を表す潜在関数 $F(\theta)$ を導入し、$F(\theta)$ の最大化点 $ heta^*$ が最適アソートメントをもたらすことを示す。
• 局所的な単調性を特定するため、$F(\theta)$ を基準線と比較することで、$ heta^*$ を動的に特定する三等分探索方策を開発する。
• 適応的信頼区間を用いて探索を精緻化し、$T$ における対数因子を除去し、$O(\tilde{O}(\tfrac{1}{2}\text{log}T))$ のレグレットを達成する。
• $\theta^*$ の不動点表現 $F(\theta) = \theta$ を用いることで、効率的かつ理論的根拠を持つ探索が可能になる。
• 分離性条件や平均効用の事前知識を必要としないギャップフリーかつ仮定フリーな方策を設計する。

実験結果

リサーチクエスチョン

• RQ1 明示的な効用推定を回避する動的アソートメント方策を設計でき、そのレグレットが製品数 $N$ に依存しないものとなるか。
• RQ2 容量制約なしのMNLモデルにおける動的アソートメント計画における最適なレグレットスケーリングは何か。
• RQ3 この設定において、$\tilde{\theta}(\tfrac{1}{2}\text{log}T)$ の下界と一致する方策を構築できるか。
• RQ4 収益ポテンシャル関数 $F(\theta)$ の構造をどのように活用して、アソートメント空間における効率的かつ最適な探索を可能にするか。

主な発見

• 提案された三等分ベースの方策は、$O(\tilde{O}(\tfrac{1}{2}\text{log}T))$ のレグレットバウンドを達成し、対数要因を除いて最適である。
• 三等分方策の適応的バージョンは、基本バージョンに見られる $T$ における対数因子を除去し、$O(\tilde{O}(\tfrac{1}{2}\text{log}T))$ のレグレットを達成する。
• 実験結果から、提案アルゴリズム（Trisec および Adap-Trisec）のレグレットは $N$ が増加しても安定的かつ低く保たれる一方、UCB や Thompson などの競合手法は $N$ に対して多項式的にレグレットが増加することが示された。
• Adap-Trisec アルゴリズムは、$N$ および $T$ のすべてのテスト設定において、平均および最大レグレットの両面で Trisec やすべての競合手法を常に上回った。
• ゴールデン・ラティオ・サーチ（Grs）アルゴリズムは、固定された探索・活用構造のため、性能が不安定で、平均と最大レグレットの差が大きかった。
• 本稿では、$\tilde{\theta}(\tfrac{1}{2}\text{log}T)$ の一致する下界を確立し、提案方策がレグレットスケーリングの観点で最適であることを証明した。