[논문 리뷰] Assortment Optimization under Unknown MultiNomial Logit Choice Models

Wang Chi Cheung, David Simchi‐Levi|arXiv (Cornell University)|2017. 04. 01.

Advanced Bandit Algorithms Research참고 문헌 10인용 수 8

한 줄 요약

이 논문은 자원 제약 조건이 있는 알려지지 않은 다항 로짓(Multinomial Logit, MNL) 선택 모델 하에서 온라인 애자일 선택 최적화 정책을 제안하며, 선택 확률에 대한 신뢰구간을 활용하여 비선형적 손실을 달성한다. 효율적인 정책이 $\tilde{O}(T^{2/3})$의 손실을 달성하고, UCB 기반 정책이 $\tilde{O}(T^{1/2})$의 손실을 달성하며, 둘 다 MNL의 구조를 활용하여 애자일 수의 함수로 비선형 손실을 달성한다.

ABSTRACT

Motivated by e-commerce, we study the online assortment optimization problem. The seller offers an assortment, i.e. a subset of products, to each arriving customer, who then purchases one or no product from her offered assortment. A customer's purchase decision is governed by the underlying MultiNomial Logit (MNL) choice model. The seller aims to maximize the total revenue in a finite sales horizon, subject to resource constraints and uncertainty in the MNL choice model. We first propose an efficient online policy which incurs a regret $ ilde{O}(T^{2/3})$, where $T$ is the number of customers in the sales horizon. Then, we propose a UCB policy that achieves a regret $ ilde{O}(T^{1/2})$. Both regret bounds are sublinear in the number of assortments.

연구 동기 및 목표

• 기본적인 MNL 선택 모델이 알려지지 않았고 자원 제약 조건이 제품 가용성에 영향을 주는 상황에서 온라인 애자일 선택 최적화 문제를 해결하는 것.
• 모델에 대한 전체 지식을 가진 옥타브와의 수익 차이인 손실—즉, 불확실성과 유한한 자원 예산 하에서 판매자 수익을 최소화하는 것.
• 유한한 판매 기간 동안 MNL 모델을 학습하면서 수익을 극대화하는 계산적으로 효율적인 정책을 개발하는 것.
• MNL 모델의 구조적 특성을 활용하여 가능한 애자일 수에 대해 비선형 손실을 달성하는 것.

제안 방법

• 알려지지 않은 MNL 모델에서 탐색과 이용의 균형을 이루기 위해 길이 $\tau$인 학습 단계를 가진 온라인 정책 { t Online}($\tau$)을 제안한다.
• 집중 부등식을 사용하여 모든 애자일에 대해 선택 확률에 대한 신뢰구간을 설정함으로써 불확실성 하에서 견고한 학습을 가능하게 한다.
• MNL 파라미터에 대한 상한 신뢰구간을 사용하여 애자일 선택을 안내하고 손실을 줄이는 UCB 기반 정책을 도입한다.
• 자원 제약 조건 하에서의 탈출 가능성을 보장하기 위해 선형 프로그래밍 근사화(UCB-LP)를 정책 결정에 활용한다.
• Azuma-Hoeffding 및 기타 마틴게일 집중 부등식을 적용하여 추정 오차와 자원 소비의 이탈을 제한한다.
• 자원 소비를 추정 오차, 모델 오차, 정책 오차의 항으로 분해하여 총 자원 사용의 유한성을 증명한다.

실험 결과

연구 질문

• RQ1 알려지지 않은 MNL 선택 모델과 자원 제약 조건이 존재하는 상황에서 온라인 애자일 선택 최적화를 효율적으로 수행할 수 있는가?
• RQ2 이 설정에서 달성 가능한 손실 한계는 무엇이며, 이는 가능한 애자일 수에 대해 비선형적일 수 있는가?
• RQ3 자원 제약 조건 하에서 효율적인 학습을 가능하게 하기 위해 애자일 수준의 선택 확률에 대한 신뢰구간을 어떻게 구성할 수 있는가?
• RQ4 MNL 모델의 특수한 구조를 활용하여 모든 애자일을 개별적으로 학습하는 것을 피할 수 있는가?

주요 결과

• 제안된 { t Online}($\tau$) 정책는 $\tilde{O}(T^{2/3})$의 손실 한계를 달성하며, 이는 고객 수 $T$에 대해 비선형적이다.
• UCB 기반 정책는 $\tilde{O}(\sqrt{T})$의 손실 한계를 달성하여 자원 제약 조건이 존재하는 상황에서 이전 결과를 향상시킨다.
• 두 손실 한계 모두 가능한 애자일 수에 대해 비선형적이며, 이는 이전 방법들이 애자일 수에 대해 선형 손실을 겪는 것과는 대조된다.
• 이 방법은 애자일 선택 확률에 대한 새로운 신뢰구간을 확립하였으며, 이는 자원 제약 조건 하에서의 학습에 핵심적이다.
• 자원 소비가 높은 확률로 유한함을 증명하여 판매 기간 전반에 걸쳐 탈출 가능성을 보장한다.
• 분석 결과, MNL 모델의 구조적 특성을 활용하면 일반적인 밴딧 또는 조합 최적화 기반 접근법에 비해 손실을 크게 줄일 수 있음을 보여준다.