[논문 리뷰] Near-Optimal Policies for Dynamic Multinomial Logit Assortment Selection Models

Yining Wang, Xi Chen외 1명|arXiv (Cornell University)|2018. 01. 01.

Advanced Bandit Algorithms Research인용 수 13

한 줄 요약

이 논문은 수용량 제약이 없는 다항 로짓(MNL) 모델 하에서 동적 암시 선택 문제를 해결하기 위해 삼등분 기반 알고리즘을 제안한다. 수익 잠재력 함수를 활용하여 항목에 종속되지 않는 최소 손실 한계 O(√(T log log T))를 달성한다. 이 방법은 반복 로그 인자까지 정보 이론적 하한선을 충족하며, 단일 모드/볼록 밴딧 기법과 최소 최대 밴딧 문제에서의 적응형 신뢰 구간 파rameter를 활용한다.

ABSTRACT

In this paper we consider the dynamic assortment selection problem under an uncapacitated multinomial-logit (MNL) model. By carefully analyzing a revenue potential function, we show that a trisection based algorithm achieves an item-independent regret bound of O(sqrt(T log log T), which matches information theoretical lower bounds up to iterated logarithmic terms. Our proof technique draws tools from the unimodal/convex bandit literature as well as adaptive confidence parameters in minimax multi-armed bandit problems.

연구 동기 및 목표

• 고객 선호도에 따라 확률적으로 순위가 매겨지는 제품 선택이 이루어지는 수용량 제약이 없는 다항 로짓(MNL) 모델 하에서 동적 암시 선택 문제를 다루는 것.
• 특정 항목의 조합에 의존하지 않는, 불확실성 하에서의 순차적 의사결정에서 낮은 손실를 달성하는 정책을 개발하는 것.
• 기존의 손실 한계와 정보 이론적 하한선 사이의 격차를 알고리즘 설계 및 분석 기법의 정교화를 통해 좁히는 것.
• 단일 모드 및 볼록 밴딧 문헌에서의 통찰을 활용하여 MNL 기반 동적 암시 최적화에서의 손실 성능을 향상시키는 것.

제안 방법

• 알고리즘은 동적 암시 선택 과정에서 수익 잠재력 함수를 효율적으로 탐색하고 이용하기 위해 삼등분 기반 탐색 전략을 사용한다.
• 최소 최대 다중 손실 밴딧 문제에서 영감을 얻은 적응형 신뢰 구간 파rameter를 도입하여 탐색과 이용의 균형을 개선한다.
• 고객 선호도 파rameter에 대한 사전 지식 없이도 수익 잠재력 함수를 분석하여 최적의 암시 구성 조합을 식별한다.
• MNL 모델의 수익 구조를 다루기 위해 단일 모드 및 볼록 밴딧 문헌의 도구를 활용한다.
• 관측된 피드백에 기반해 적응적으로 수축하는 신뢰 구간을 유지하여 수렴성과 손실 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 동적 암시 선택 정책이 암시에 포함된 항목 수에 종속되지 않는 손실 한계를 달성할 수 있는가?
• RQ2 순차적 피드백 하에서 수용량 제약이 없는 MNL 모델에서 달성 가능한 최적의 손실 한계는 무엇인가?
• RQ3 단일 모드 및 볼록 밴딧 기법을 어떻게 변형하여 MNL 기반 암시 최적화에서의 손실를 향상시킬 수 있는가?
• RQ4 최소 최대 밴딧 스타일 설정에서 적응형 신뢰 구간 파rameter는 MNL 모델 적용 시 손실를 얼마나 줄일 수 있는가?

주요 결과

• 제안된 삼등분 기반 알고리즘은 수용량 제약이 없는 MNL 모델 하에서 동적 암시 선택에 대해 항목에 종속되지 않는 손실 한계 O(√(T log log T))를 달성한다.
• 이 손실 한계는 반복 로그 항목까지 정보 이론적 하한선과 일치하여 근사 최적성을 시사한다.
• 이 방법은 MNL 수익 함수의 구조를 다루기 위해 단일 모드 및 볼록 밴딧 문헌의 도구를 성공적으로 통합한다.
• 적응형 신뢰 구간 파rameter는 고객 선호도 파ram터에 대한 사전 지식이 없을 경우에도 탐색과 이용의 균형을 유지하는 알고리즘의 능력을 크게 향상시킨다.