[논문 리뷰] Know Your Customer: Multi-armed Bandits with Capacity Constraints.

Ramesh Johari, Vijay Kamble외 1명|arXiv (Cornell University)|2016. 03. 15.

Advanced Bandit Algorithms Research참고 문헌 26인용 수 4

한 줄 요약

이 논문은 용량 제약 조건과 알려지지 않은 고객 선호도 하에 자원 할당을 위한 세 단계의 다중 손잡이 밴딧 정책을 제안한다. 이 정책은 용량 제약 조건으로부터 유도된 그림자 가격을 사용하여 즉각적인 수익, 고객 유형 학습, 용량 제약을 균형 있게 조절함으로써 渐近적으로 최적의 손실을 달성한다.

ABSTRACT

A wide range of resource allocation and platform operation settings exhibit the following two simultaneous challenges: (1) service resources are capacity constrained; and (2) clients' preferences are not perfectly known. To study this pair of challenges, we consider a service system with heterogeneous servers and clients. Server types are known and there is fixed capacity of servers of each type. Clients arrive over time, with types initially unknown and drawn from some distribution. Each client sequentially brings $N$ jobs before leaving. The system operator assigns each job to some server type, resulting in a payoff whose distribution depends on the client and server types. Our main contribution is a complete characterization of the structure of the optimal policy for maximization of the rate of payoff accumulation. Such a policy must balance three goals: (i) earning immediate payoffs; (ii) learning client types to increase future payoffs; and (iii) satisfying the capacity constraints. We construct a policy that has provably optimal regret (to leading order as $N$ grows large). Our policy has an appealingly simple three-phase structure: a short type-guessing phase, a type-confirmation phase that balances payoffs with learning, and finally an exploitation phase that focuses on payoffs. Crucially, our approach employs the shadow of the capacity constraints in the assignment problem with known types as externality prices on the servers' capacity.

연구 동기 및 목표

• 서버의 고정된 용량과 초기에 알려지지 않은 고객 유형이 있는 자원 할당 문제를 모델링하고 해결한다.
• 즉각적인 수익 창출, 고객 유형 학습, 용량 제약을 준수하는 것 사이의 트레이드오프를 균형 잡는다.
• 대규모 시간 간격 한계(즉, N → ∞)에서 증명 가능한 최적의 손실을 달성하는 정책을 설계한다.
• 기존 유형의 할당 문제에서 유도된 외부성 가격 책정 기법을 사용하여 용량 제약 조건을 학습 및 할당 결정에 통합한다.

제안 방법

• 정책은 세 단계로 구성된다: 짧은 유형 추측 단계, 학습과 수익 창출을 균형 잡는 유형 확인 단계, 그리고 수익 최적화에 집중하는 최종 이용 단계.
• 기본적으로 알려진 고객 및 서버 유형 하에서 최적의 할당 문제로부터 유도된 그림자 가격은 용량 제약 조건의 외부성을 나타낸다.
• 알고리즘은 이러한 그림자 가격을 사용하여 서버 할당 결정을 유도하며, 용량 제약 조건을 학습 과정에 내재화한다.
• 손실은 渐近적으로 분석되며, N이 매우 클 때 정책이 주요 항 차수에서 최적의 손실을 달성하는 것으로 입증된다.
• 학습과 자원 할당 사이의 이중성에 기반하여, 가격 책정 메커니즘을 통해 용량 제약 조건을 학습 목표에 통합한다.

실험 결과

연구 질문

• RQ1 이질적인 서버-고객 시스템에서 다중 손잡이 밴딧 정책이 학습, 수익 극대화, 용량 제약 조건을 어떻게 최적으로 균형 잡을 수 있는가?
• RQ2 고객 유형과 서버 용량이 모두 알려지지 않거나 부분적으로 알려져 있을 경우 최적의 정책의 구조는 어떠한가?
• RQ3 용량 제약 조건을 체계적으로 학습 및 할당 과정에 통합하여 손실을 최소화할 수 있는 방법은 무엇인가?
• RQ4 고객당 작업 수(N)가 매우 클 때 이러한 정책의 渐近적 손실은 얼마인가?

주요 결과

• 제안된 정책은 渐近적으로 최적의 손실을 달성하며, 주요 항 차수의 손실이 이론적 하한과 일치한다.
• 유형 추측, 유형 확인, 이용의 세 단계로 구성된 구조는 용량 제약 조건을 준수하면서도 효율적인 학습을 가능하게 한다.
• 알려진 유형의 할당 문제에서 유도된 그림자 가격은 효과적인 외부성 측정 기준이 되어 용량 제약 조건 하에서 최적의 할당을 유도한다.
• 가격 책정을 통해 용량 제약 조건을 학습 목표에 내재화함으로써 탐색과 이용 사이의 균형을 유지한다.