[논문 리뷰] Phase Transitions in Bandits with Switching Constraints

David Simchi‐Levi, Yunzong Xu|arXiv (Cornell University)|2019. 05. 26.

Advanced Bandit Algorithms Research참고 문헌 15인용 수 4

한 줄 요약

이 논문은 총 전환 비용에 경직된 제약 조건이 있는 스토하스틱 다항보상 문제를 연구하며, 전환 제약 조건이 있는 보상(Bandits with Switching Constraints, BwSC) 프레임워크를 도입한다. 최소화된 위험에 대한 상한과 하한이 일치함을 보이며, 전환 예산과 그래프 구조에 따라 비전통적인 위험 증가와 새로운 단계 전이가 발생하는 것을 드러낸다. 이는 적대적 TSP 기반 색인을 통해 정확한 의존성으로 유도된다.

ABSTRACT

We consider the classical stochastic multi-armed bandit problem with a constraint that limits the total cost incurred by switching between actions to be no larger than a given switching budget. For this problem, we prove matching upper and lower bounds on the optimal (i.e., minimax) regret, and provide efficient rate-optimal algorithms. Surprisingly, the optimal regret of this problem exhibits a non-conventional growth rate in terms of the time horizon and the number of arms. Consequently, we discover surprising "phase transitions" regarding how the optimal regret rate changes with respect to the switching budget: when the number of arms is fixed, there are equal-length phases, where the optimal regret rate remains (almost) the same within each phase and exhibits abrupt changes between phases; when the number of arms grows with the time horizon, such abrupt changes become subtler and may disappear, but a generalized notion of phase transitions involving certain new measurements still exists. The results enable us to fully characterize the trade-off between the regret rate and the incurred switching cost in the stochastic multi-armed bandit problem, contributing new insights to this fundamental problem. Under the general switching cost structure, the results reveal interesting connections between bandit problems and graph traversal problems, such as the shortest Hamiltonian path problem.

연구 동기 및 목표

• 전환 비용의 목표 함수에 페널티를 부과하는 대신, 총 전환 비용에 경직된 제약 조건이 있는 스토하스틱 다항보상 문제를 모델링하고 분석하는 것.
• 특히 전환 비용이 이질적이고 비모수적일 경우, 온라인 학습에서 위험과 전환 비용 사이의 근본적인 상충 관계를 규명하는 것.
• 전환 예산과 보상 수에 따라 최적의 위험률에서 발생하는 단계 전이를 식별하고 분석하는 것.
• 고정된 수와 증가하는 수의 보상이 있는 일반적인 전환 비용 그래프에 대해 날카운 위험 한계를 확립하는 것.
• 새로운 구조적 색인을 통해 보상 문제와 그래프 순회 문제, 특히 적대적 TSP 사이의 연결 고리를 드러내는 것.

제안 방법

• 전환 비용 총합이 페널티가 아니라 경직된 제약 조건으로 설정된 '전환 제약 조건이 있는 보상(Bandits with Switching Constraints, BwSC)' 프레임워크를 제안한다.
• 전환 그래프 $ G $ 상에서 적대적 순회 판매원 문제의 동적 프rogram밍 공식화로부터 유도된 핵심 구조적 색인 $ q(S,G) $ 를 도입한다.
• 불확실성 하에서 최악의 상황을 모델링하기 위해 적대적 TSP를 사용하며, 여기서 적대자는 각 방문 후 목적지 집합의 정점을 제거한다.
• 최적의 위험률을 $ \widetilde{\Theta}(T^{1/(2 - 2^{-q(S,G)})}) $ 로 유도하며, 지수는 $ q(S,G) $ 에 의해 결정되며, 이는 최악의 적대적 제거 규칙 하에서 모든 보상을 방문하는 데 필요한 복잡도를 캡처한다.
• 고정된 $ K $ 에 대해 위험에 대한 상한과 하한이 일치함을 보이며, 새로운 색인 기반 특성화를 통해 날카운 성질을 입증한다.
• 전환 예산 $ S $ 가 증가함에 따라 위험률의 단계 전이 행동을 분석하며, 고정된 $ K $ 에서는 급격한 변화를 보이고, $ K $ 가 $ T $ 와 함께 증가할 경우에는 더 미세한 전이가 발생함을 보여준다.

실험 결과

연구 질문

• RQ1 전환이 페널티가 아니라 제약 조건이 적용될 경우, 최적의 위험률이 시간 영역 $ T $ 와 전환 예산 $ S $ 에 따라 어떻게 변화하는가?
• RQ2 전환 비용 그래프 $ G $ 의 어떤 구조적 특성이 BwSC 프레임워크에서 위험률을 결정하는가?
• RQ3 전환 예산 $ S $ 에 따라 위험률에서 발생하는 단계 전이는 어떻게 나타나며, 보상 수 $ K $ 와 어떻게 관련되는가?
• RQ4 최적의 위험률은 $ T $ 와 어떻게 정확하게 의존하는가? 특히 고정된 $ K $ 에서 그래프 구조 $ G $ 와의 관계는 어떻게 되는가?
• RQ5 BwSC 문제와 해밀턴 경로 및 적대적 TSP와 같은 그래프 순회 문제 사이에 어떤 연결 고리가 존재하는가?

주요 결과

• BwSC의 최적 위험은 $ \widetilde{\Theta}(T^{1/(2 - 2^{-q(S,G)})}) $ 이며, 여기서 $ q(S,G) $ 는 전환 그래프 $ G $ 에 대한 적대적 TSP 공식화로부터 도출된 구조적 색인이다.
• 고정된 $ K $ 에서, 위험률은 서로 다른 길이의 단계들로 나뉘며, 각 단계에서 위험률은 거의 일정하며, $ S $ 가 증가함에 따라 급격한 전이가 발생한다.
• $ K $ 가 $ T $ 와 함께 증가할 경우, 단계 전이가 더 미세해지고 사라질 수 있지만, 색인 $ q(S,G) $ 를 통해 일반화된 단계 전이가 여전히 존재한다.
• 적대적 TSP 공식화는 모든 보상을 방문하기 위해 필요한 최악의 상황에서의 전환 비용에 대해 날카운 하한을 제공하며, 그 해법은 임계 색인 $ q(S,G) $ 를 정의하는 데 사용된다.
• 이 논문은 이전 연구에서 제시한 상한과 하한이 일반적인 $ G $ 에서 $ T $ 에 대해 날카운 성질을 갖지 못함을 보이며, 정리 8을 통해 새로운 정확한 특성화를 제공한다.
• 색인 $ q(S,G) $ 는 다른 후보 색인과 항상 일치하지 않으며, 이는 전환 복잡도를 캡처하는 데 있어 그 고유성과 비트리비얼한 구조를 나타낸다.