[논문 리뷰] Better Best of Both Worlds Bounds for Bandits with Switching Costs

Idan Amir, Guy Azov외 2명|arXiv (Cornell University)|2022. 06. 07.

Advanced Bandit Algorithms Research인용 수 5

한 줄 요약

이 논문은 고정된 적대적 환경에서 최소최대 최적의 손실 $\mathcal{O}(T^{2/3})$ 를 달성하고 단위 전환 비용 하에서 확률적 제약 손실 한계를 $\mathcal{O}(\min\{\log T / \Delta^2, T^{2/3}\})$ 로 향상시키는 최상의 두 세계를 동시에 달성하는 밴디트 알고리즘을 제안한다. 이 방법은 수정된 탐색 전략과 전환 비용에 대한 새로운 분석을 활용하며, 로그 인자에 대한 일치하는 하한을 통해 엄밀함을 증명한다.

ABSTRACT

We study best-of-both-worlds algorithms for bandits with switching cost, recently addressed by Rouyer, Seldin and Cesa-Bianchi, 2021. We introduce a surprisingly simple and effective algorithm that simultaneously achieves minimax optimal regret bound of $\mathcal{O}(T^{2/3})$ in the oblivious adversarial setting and a bound of $\mathcal{O}(\min\{\log (T)/Δ^2,T^{2/3}\})$ in the stochastically-constrained regime, both with (unit) switching costs, where $Δ$ is the gap between the arms. In the stochastically constrained case, our bound improves over previous results due to Rouyer et al., that achieved regret of $\mathcal{O}(T^{1/3}/Δ)$. We accompany our results with a lower bound showing that, in general, $ ildeΩ(\min\{1/Δ^2,T^{2/3}\})$ regret is unavoidable in the stochastically-constrained case for algorithms with $\mathcal{O}(T^{2/3})$ worst-case regret.

연구 동기 및 목표

• 전환 비용 하에서 적대적 설정과 확률적 제약 설정 모두에서 최적의 손실을 동시에 달성하는 최상의 두 세계 밴디트 알고리즘을 설계하기.
• 전환 비용이 있는 확률적 제약 설정에서 최고의 상한과 하한 사이의 격차를 좁히기.
• 확률적 제약 설정에서 전환 비용에 의해 $\tilde{\Omega}(\min\{1/\Delta^2, T^{2/3}\})$ 의 손실이 피할 수 없음을 보여주는 엄밀한 하한을 확립하기.
• Rouyer 등 [14]의 $\mathcal{O}(T^{1/3}/\Delta)$ 한계를 확률적 제약 설정에서 향상시켜 $\mathcal{O}(\log T / \Delta^2)$ 로 개선하면서도 worst-case 손실이 $\mathcal{O}(T^{2/3})$ 를 유지하기.
• 일般적인 $K>2$ 경우에서 더 엄밀한 한계를 얻을 수 있는지 탐색하고, 확률적 설정과 확률적 제약 설정 간의 열린 문제를 규명하기.

제안 방법

• 손실과 행동 변경을 균형 잡기 위해 수정된 탐색 전략과 전환 비용에 대한 세심한 분석을 결합한 새로운 알고리즘을 도입한다.
• 전환 빈도를 제어하면서도 손실 보장을 유지하기 위해 새로운 정규화 항을 포함한 Tsallis-INF 프레임워크의 변종을 사용한다.
• 적대적 설정과 확률적 제약 설정에서의 손실을 별도로 제한하기 위해 이중 분석 프레임워크를 활용하며, 후자의 경우 간격 $\Delta$ 를 활용한다.
• 피링 어림과 농도 불등식을 적용하여 비최적의 액션으로의 전환 수를 제어하여, 확률적 제약 설정에서 $\mathcal{O}(\log T / \Delta^2)$ 의 전환 수를 달성한다.
• 특히 설계된 확률적 환경을 사용하여, 전환 비용 하에서 $\tilde{\Omega}(\min\{1/\Delta^2, T^{2/3}\})$ 의 손실이 불가피함을 보여주는 하한을 유도한다.
• 전환 비용을 매개변수 $\lambda$ 로 모델링하기 위해 $\lambda$ 를 도입하여 손실와 전환 비용 간의 상호 작용을 분석하고, $\lambda$ 에 따라 한계를 유도한다.

실험 결과

연구 질문

• RQ1 최상의 두 세계 밴디트 알고리즘이 단위 전환 비용 하에서 적대적 설정에서는 $\mathcal{O}(T^{2/3})$ 의 손실을, 확률적 제약 설정에서는 $\mathcal{O}(\log T / \Delta^2)$ 의 손실을 달성할 수 있는가?
• RQ2 Rouyer 등 [14]의 $\mathcal{O}(T^{1/3}/\Delta)$ 한계는 엄밀한가, 아니면 확률적 제약 설정에서 $\mathcal{O}(\log T / \Delta^2)$ 로 향상시킬 수 있는가?
• RQ3 전환 비용이 있는 알고리즘에서 $\mathcal{O}(T^{2/3})$ 의 worst-case 손실을 가지는 경우, 확률적 제약 설정에서 최적의 최소최대 손실 속도는 무엇인가?
• RQ4 현재의 하한은 $K>2$ 의 경우로 일반화될 수 있는가, 아니면 $K=2$ 에서만 성립하는가?
• RQ5 전환 비용이 있는 경우, 확률적 설정과 확률적 제약 설정 간의 달성 가능한 손실에 차이가 존재하는가?

주요 결과

• 제안된 알고리즘은 고정된 적대적 환경에서 $\mathcal{O}(T^{2/3})$ 의 손실을 달성하며, 로그 인자에 대해 알려진 최소최대 하한과 일치한다.
• 확률적 제약 설정에서는 $\mathcal{O}(\min\{\log T / \Delta^2, T^{2/3}\})$ 의 손실을 달성하여 Rouyer 등 [14]의 이전 $\mathcal{O}(T^{1/3}/\Delta)$ 한계를 향상시킨다.
• 하한으로서 $\tilde{\Omega}(\min\{1/\Delta^2, T^{2/3}\})$ 가 확립되어, 새로운 상한이 로그 인자에 대해 엄밀함을 보여준다.
• 확률적 제약 설정에서의 향상은 전환 빈도에 대한 정교한 분석 덕분이며, 이는 비최적 액션으로의 전환 수가 $\tilde{\mathcal{O}}(1/\Delta^2)$ 라는 것을 보여준다.
• $K>2$ 의 경우 상한과 하한이 완전히 일치하지 않아 최적의 속도는 여전히 열린 질문이다.
• 논문은 확률적 설정과 확률적 제약 설정 간의 잠재적 분리점을 강조하며, 순수한 확률적 설정에서는 최상의 두 세계 알고리즘이 불가능할 수 있음을 시사한다.