[논문 리뷰] Dynamic Assortment Selection under the Nested Logit Models

Xi Chen, Shi, Chao외 2명|arXiv (Cornell University)|2018. 06. 27.

Supply Chain and Inventory Management참고 문헌 36인용 수 8

한 줄 요약

이 논문은 이중 로짓 모델 하에서 동적 어셈블리 플래닝을 위한 새로운 UCB 기반 정책을 제안하며, 수익 순서 기반 어셈블리 구조와 집계된 유틸리티 추정을 활용하여 $\widetilde{O}(\sqrt{MNT})$의 리그레트 바운드를 달성한다. 이는 거의 최적이다. 또한 제품 수가 많은 경우 성능을 향상시키기 위해 이산화 히우리스틱을 도입한다.

ABSTRACT

We study a stylized dynamic assortment planning problem during a selling season of finite length $T$. At each time period, the seller offers an arriving customer an assortment of substitutable products and the customer makes the purchase among offered products according to a discrete choice model. The goal of the seller is to maximize the expected revenue, or equivalently, to minimize the worst-case expected regret. One key challenge is that utilities of products are unknown to the seller and need to be learned. Although the dynamic assortment planning problem has received increasing attention in revenue management, most existing work is based on the multinomial logit choice models (MNL). In this paper, we study the problem of dynamic assortment planning under a more general choice model -- the nested logit model, which models hierarchical choice behavior and is ``the most widely used member of the GEV (generalized extreme value) family''. By leveraging the revenue-ordered structure of the optimal assortment within each nest, we develop a novel upper confidence bound (UCB) policy with an aggregated estimation scheme. Our policy simultaneously learns customers' choice behavior and makes dynamic decisions on assortments based on the current knowledge. It achieves the accumulated regret at the order of $ ilde{O}(\sqrt{MNT})$, where $M$ is the number of nests and $N$ is the number of products in each nest. We further provide a lower bound result of $Ω(\sqrt{MT})$, which shows the near optimality of the upper bound when $T$ is much larger than $M$ and $N$. When the number of items per nest $N$ is large, we further provide a discretization heuristic for better performance of our algorithm. Numerical results are presented to demonstrate the empirical performance of our proposed algorithms.

연구 동기 및 목표

• 다중 로짓(MNL)보다 더 일반적이고 널리 사용되는 선택 모델인 이중 로짓 모델 하에서의 동적 어셈블리 플래닝에 대한 기존 연구의 격차를 메운다. 이는 독립된 대안들 사이의 상관관계가 없는 조건(IIA)을 완화한다.
• 유한 시간 프레임워크 내에서 미지의 제품 유틸리티를 동시에 학습하고 최적의 어셈블리 조합을 선택할 수 있는 계산 효율적인 정책을 개발한다.
• 시간 프레임워크 $T$, 네스트 수 $M$, 네스트당 제품 수 $N$에 대해 제곱근의 비율로 증가하는 비점근적 리그레트 바운드를 달성한다. 이는 이중 로짓 프레임워크 하에서 성립한다.
• 상한과 하한을 각각 이론적으로 도출하여 이중 로짓 모델 하에서의 리그레트의 기본 한계를 규명한다. 이는 $T \gg M,N$일 때 거의 최적임을 입증한다.
• 네스트 내 제품 간 유틸리티 추정치를 집계하는 방식을 통해 $N$이 클 경우의 실증적 성능을 향상시키기 위해 이산화 히우리스틱을 도입한다.

제안 방법

• 각 네스트 내 최적 어셈블리의 수익 순서 기반 구조를 활용하여 탐색과 이용을 균형 잡는 UCB 기반 정책을 설계한다.
• 동일한 네스트 내 제품 간 관측된 구매 데이터를 통합하여 유틸리티 추정 정확도를 향상시키는 집계 추정 기법을 도입한다.
• 이중 로짓 모델의 계층적 구조를 활용하여 제품 및 네스트의 평균 유틸리티에 대한 신뢰 구간을 유지하는 UCB 정책을 설계한다.
• 네스트 내 제품들을 유틸리티 추정치 기반으로 그룹화하여 버킷에 할당함으로써 이산화 히우리스틱을 적용한다. 이는 추정 분산을 감소시키고 리그레트 성능을 향상시킨다.
• 이중 로짓 모델의 수학적 구조(선택이 먼저 네스트 수준에서 이루어지고, 그 다음 네스트 내에서 이루어짐)를 활용하여 의사결정 및 학습 문제를 분해한다.
• 집중 부등식을 활용하고 모델의 계층적 성격을 이용하여 누적 리그레트의 성장률을 통제함으로써 이론적 리그레트 바운드를 유도한다.

실험 결과

연구 질문

• RQ1 이중 로짓 모델 하에서 동적 어셈블리 플래닝을 위한 UCB 기반 정책를 설계할 수 있으며, 이는 하위선형 리그레트 바운드를 달성할 수 있는가?
• RQ2 이중 로짓 모델 하에서 동적 어셈블리 플래닝의 기본 리그레트 한계(하한)는 무엇이며, 제안된 상한과 비교해 볼 때 어떻게 다른가?
• RQ3 네스트당 제품 수($N$)는 리그레트에 어떤 영향을 미치며, 이산화 기법을 통해 고$N$ 환경에서 성능 향상을 달성할 수 있는가?
• RQ4 시간 프레임워크 $T$가 $M$과 $N$에 비해 클 경우, 제안된 정책이 리그레트 스케일링 측면에서 거의 최적임을 입증할 수 있는가?
• RQ5 집계된 추정 기법은 계층적 선택 행동이 존재하는 상황에서 추정 오차를 효과적으로 줄이고 리그레트를 향상시킬 수 있는가?

주요 결과

• 제안된 UCB 정책는 이중 로짓 모델 하에서 동적 어셈블리 플래닝에 대해 비점근적 리그레트 바운드 $\widetilde{O}(\sqrt{MNT} + MN^2)$를 달성한다. 이는 이 모델에 대해 처음으로 성립하는 결과이다.
• 리그레트 상한은 $\widetilde{O}(\sqrt{MNT})$로 표현되며, $T \gg M,N$일 때 이론적 하한 $\Omega(\sqrt{MT})$와 일치함을 확인하여 거의 최적임을 입증한다.
• 수치 실험 결과, 이산화를 적용하지 않은 경우($\delta = 0$), 리그레트는 네스트당 제품 수 $N$에 대해 약 $O(\sqrt{N})$ 비율로 증가함을 확인하였으며, 이는 이론적 결과와 일치함을 입증한다.
• 이산화 히우리스틱은 $N$ 증가에 따른 리그레트 증가를 뚜렷이 감소시켜 고$N$ 환경에서의 성능 향상을 입증한다.
• UCB 알고리즘은 대부분의 설정에서 기준 대비 방법인 톰슨 샘플링(TS) 및 Exp-Exp를 능가하지만, 일부 경우에서는 TS도 경쟁력 있는 성능을 보였다.
• 결과는 집계된 추정 기법이 분산을 효과적으로 줄이고 계층적 이중 로짓 프레임워크 내에서 효율적인 학습을 지원함을 확인한다.