[논문 리뷰] An Optimal Policy for Dynamic Assortment Planning Under Uncapacitated Multinomial Logit Models

Xi Chen, Yining Wang외 1명|arXiv (Cornell University)|2018. 05. 12.

Advanced Bandit Algorithms Research참고 문헌 28인용 수 6

한 줄 요약

이 논문은 비용 제약이 없는 다항 로짓(MNL) 모델에 대해 삼등분 기반 동적 어셈블리 정책을 제안하며, 제품 수 $N$ 에 관계없이 $O(\tilde{O}(\frac{1}{2}\text{log}T))$ 의 최적의 리그레트 한계를 달성한다. 수익 잠재력 함수와 적응형 신뢰 구간을 활용하여 명시적 유틸리티 추정을 피하고, 평균 유틸리티나 수익 분리성에 대한 가정 없이 $\tilde{\theta}(\frac{1}{2}\text{log}T)$ 하한선과 일치시켜 최적성과 함께 성능을 입증한다.

ABSTRACT

We study the dynamic assortment planning problem, where for each arriving customer, the seller offers an assortment of substitutable products and customer makes the purchase among offered products according to an uncapacitated multinomial logit (MNL) model. Since all the utility parameters of MNL are unknown, the seller needs to simultaneously learn customers' choice behavior and make dynamic decisions on assortments based on the current knowledge. The goal of the seller is to maximize the expected revenue, or equivalently, to minimize the expected regret. Although dynamic assortment planning problem has received an increasing attention in revenue management, most existing policies require the estimation of mean utility for each product and the final regret usually involves the number of products $N$. The optimal regret of the dynamic assortment planning problem under the most basic and popular choice model---MNL model is still open. By carefully analyzing a revenue potential function, we develop a trisection based policy combined with adaptive confidence bound construction, which achieves an {item-independent} regret bound of $O(\sqrt{T})$, where $T$ is the length of selling horizon. We further establish the matching lower bound result to show the optimality of our policy. There are two major advantages of the proposed policy. First, the regret of all our policies has no dependence on $N$. Second, our policies are almost assumption free: there is no assumption on mean utility nor any "separability" condition on the expected revenues for different assortments. Our result also extends the unimodal bandit literature.

연구 동기 및 목표

• 비용 제약이 없는 다항 로짓(MNL) 선택 모델 하에서 최적의 리그레트를 달성하는 데 있어 열려 있는 문제를 해결하기 위해.
• 제품 수 $N$ 이 시간 범위 $T$ 에 비해 클 경우 유틸리티 매개변수를 명시적으로 추정하는 것이 불가능해지므로, 이를 피하는 정책을 설계하기 위해.
• 기존 최대우도추정 기반 방법들이 $N$ 에 대해 다항식적 리그레트를 보이는 것과는 달리, 리그레트가 $N$ 에 독립적이도록 하는 것.
• 제안된 정책의 리그레트 스케일링에 대해 하한선을 증명하여 최적성을 입증하기 위해.

제안 방법

• 수익 순서 정렬 어셈블리의 구조를 활용하여, 최적의 어셈블리가 제품 수익에 대한 컷오프에 해당함을 고려하여 문제를 일차원 매개변수 $ heta$ 에 대한 탐색으로 축소한다.
• 모든 수익 $ ho_i ho heta$ 를 갖는 제품을 제안했을 때의 기대 수익을 나타내는 잠재력 함수 $F( heta)$ 를 도입하고, $F( heta)$ 의 최대화자 $ heta^*$ 가 최적의 어셈블리를 도출함을 보인다.
• 지역 단조성을 판단하기 위해 $F( heta)$ 와 기준선을 비교함으로써 $ heta^*$ 를 동적으로 탐색하는 삼등분 탐색 정책을 개발한다.
• 적응형 신뢰 구간을 활용하여 탐색을 정밀화하고, $T$ 에 대한 상용 로그 인자를 제거하여 $O(\tilde{O}(\tfrac{1}{2}\text{log}T))$ 의 리그레트를 달성한다.
• $\theta^*$ 를 $F(\theta) = \theta$ 의 고정점으로 특성화하여 효율적이고 이론적으로 타당한 탐색을 가능하게 한다.
• 분리 조건이나 평균 유틸리티에 대한 사전 지식이 필요 없는 갭 없는, 가정 없는 정책을 설계한다.

실험 결과

연구 질문

• RQ1 제품 수 $N$ 에 대해 독립적인 리그레트를 달성하면서도 명시적 유틸리티 추정 없이 동적 어셈블리 정책을 설계할 수 있는가?
• RQ2 비용 제약이 없는 MNL 모델 하에서 동적 어셈블리 계획의 최적 리그레트 스케일링은 무엇인가?
• RQ3 이 설정에서 $\tilde{\theta}(\tfrac{1}{2}\text{log}T)$ 리그레트 하한선과 일치하는 정책을 구성할 수 있는가?
• RQ4 어셈블리 공간에서 효율적이고 최적의 탐색을 가능하게 하기 위해 수익 잠재력 함수 $F(\theta)$ 의 구조를 어떻게 활용할 수 있는가?

주요 결과

• 제안된 삼등분 기반 정책은 $O(\tilde{O}(\tfrac{1}{2}\text{log}T))$ 의 리그레트 한계를 달성하며, 로그 인자에 대해 최적이며 최적의 성능을 보인다.
• 삼등분 정책의 적응형 변형은 $O(\tilde{O}(\tfrac{1}{2}\text{log}T))$ 의 리그레트를 달성하여 기본 버전에서 존재하던 $T$ 에 대한 상용 로그 인자를 제거한다.
• 실험 결과, $N$ 이 증가함에 따라 제안된 알고리즘(Trisec 및 Adap-Trisec)의 리그레트는 안정적이고 낮게 유지되는 반면, UCB 및 톰슨 샘플링과 같은 경쟁자들은 리그레트가 $N$ 에 대해 다항식적으로 증가함을 보였다.
• 모든 $N$ 과 $T$ 설정에서 Adap-Trisec 알고리즘이 평균 및 최대 리그레트 모두에서 Trisec 및 모든 경쟁자보다 뛰어난 성능을 보였다.
• 황금비율 탐색(Grs) 알고리즘은 고정된 탐색-이용 구조로 인해 성능이 불안정했으며, 평균 리그레트와 최대 리그레트 간 격차가 더 컸다.
• 논문은 $\tilde{\theta}(\tfrac{1}{2}\text{log}T)$ 의 일치하는 하한선을 증명하여 제안된 정책이 리그레트 스케일링 측면에서 최적이었음을 입증한다.