[논문 리뷰] Regret of Queueing Bandits

Subhashini Krishnasamy, Rajat Sen외 2명|arXiv (Cornell University)|2016. 01. 01.

Advanced Bandit Algorithms Research참고 문헌 35인용 수 15

한 줄 요약

이 논문은 서비스 속도가 초기에는 알려져 있지 않은 큐잉 밴딧 프레임워크를 제안하며, 지능형 오라클(서비스 속도를 완전히 알고 있는)과의 대비에서 큐 길이의 기대 차이인 큐-레그레트를 최소화하는 알고리즘을 제시한다. 이는 두 단계의 레그레트 행동을 드러내며, 초기에는 고전적 밴딧과 유사하게 로그 스케일링을 보이고, 이후 점차적으로 O(1/t)로 감소하는 경향을 보이며, 두 단계 모두 순서적으로 최적의 성능을 달성하는 알고리즘이 제안된다.

ABSTRACT

We consider a variant of the multiarmed bandit problem where jobs queue for service, and service rates of different servers may be unknown. We study algorithms that minimize queueregret: the (expected) difference between the queue-lengths obtained by the algorithm, and those obtained by a “genie”-aided matching algorithm that knows exact service rates. A naive view of this problem would suggest that queue-regret should grow logarithmically: since queue-regret cannot be larger than classical regret, results for the standard MAB problem give algorithms that ensure queue-regret increases no more than logarithmically in time. Our paper shows surprisingly more complex behavior. In particular, the naive intuition is correct as long as the bandit algorithm’s queues have relatively long regenerative cycles: in this case queue-regret is similar to cumulative regret, and scales (essentially) logarithmically. However, we show that this “early stage” of the queueing bandit eventually gives way to a “late stage”, where the optimal queue-regret scaling is O(1/t). We demonstrate an algorithm that (order-wise) achieves this asymptotic queue-regret, and also exhibits close to optimal switching time from the early stage to the late stage.

연구 동기 및 목표

• 작업이 서비스를 기다리는 큐가 존재하고 서비스 속도가 초기에는 알려져 있지 않은 다중 암반 밴딧 문제에서 레그레트를 모델링하고 분석한다.
• 특히 고전적 밴딧 설정에서의 표준 레그레트와 비교하여, 시간이 지남에 따라 큐-레그레트가 어떻게 스케일링되는지 이해한다.
• 큐 다이내믹스의 초기 단계와 후기 단계 간 전이에 적응함으로써 총 큐-레그레트를 최소화하는 알고리즘을 개발한다.
• 최적의 큐-레그레트의 기본 스케일링을 특성화하여, 로그 스케일링에서 O(1/t) 스케일링으로의 전이를 보여준다.

제안 방법

• 서비스 속도를 완전히 알고 있는 지능형 오라클과의 비교에서 누적 큐 길이의 기대 차이로 큐-레그레트를 수식적으로 정의한다.
• 밴딧 피드백 하에서 큐잉 시스템의 다이내믹스를 분석하며, 장기적인 재생 주기와 관련된 초기 단계와 안정 상태 행동으로 수렴하는 후기 단계를 구분한다.
• 탐색, 큐 누적 및 시스템 재생 간의 상호작용에 따라 큐-레그레트에 대한 이론적 경계를 유도한다.
• 초기 단계에서는 탐색 중심, 후기 단계에서는 이용 중심이 되도록 적응적으로 전환하는 알고리즘을 설계하여 총 큐-레그레트를 최소화한다.
• 스토케스틱 쌍용 및 재생 이론을 사용하여 두 레그레트 제도 간 전이를 분석한다.
• 유도된 큐-레그레트 스케일링 하한선과 일치하는 방식으로 제안된 알고리즘의 순서적 최적성을 입증한다.

실험 결과

연구 질문

• RQ1 서비스 속도가 알려져 있지 않고 큐잉 다이내믹스가 존재하는 다중 암반 밴딧에서 큐-레그레트는 시간이 지남에 따라 어떻게 스케일링되는가?
• RQ2 고전적 다중 암반 밴딧에서의 표준 로그 스케일링 레그레트가 큐잉 밴딧 설정에서도 유지되는가?
• RQ3 큐 다이내믹스의 어떤 구조적 변화가 로그 스케일링에서 O(1/t) 스케일링으로의 전이를 유도하는가?
• RQ4 초기 단계와 후기 단계 간 전이에 적응하는 알고리즘을 설계하여 순서적으로 최적의 레그레트를 달성할 수 있는가?
• RQ5 이 큐잉 밴딧 프레임워크에서 큐-레그레트의 기본 한계는 무엇인가?

주요 결과

• 재생 주기가 긴 초기 단계에서는 큐-레그레트가 고전적 다중 암반 밴딧 레그레트와 유사하게 로그 스케일링을 보인다.
• 전이 지점 이후 큐-레그레트는 O(1/t)로 감소하며, 이는 고전적 밴딧과는 본질적으로 다른 점근적 행동을 나타낸다.
• 이 논문은 이 설정에서 큐-레그레트의 O(1/t)가 최적의 점근적 스케일링임을 입증한다.
• O(1/t) 스케일링을 순서적으로 달성하는 알고리즘이 제안되며, 이는 이론적 하한선과 일치한다.
• 이 알고리즘은 초기(로그) 단계에서 최적의 성능을 내는 시점에서 후기(1/t) 단계로의 전환을 적응적으로 조정한다.
• 초기 단계에서 후기 단계로의 전이는 시스템의 큐잉 다이내믹스와 추정된 서비스 속도의 수렴에 의해 유도된다.