[논문 리뷰] Multi-Armed Bandits with Metric Movement Costs

Tomer Koren, Roi Livni외 1명|arXiv (Cornell University)|2017. 10. 24.

Advanced Bandit Algorithms Research인용 수 7

한 줄 요약

이 논문은 거리 기반 이동 비용이 존재하는 다수의 손잡이 밴딧(Multi-Armed Bandits)에 대한 새로운 프레임워크를 제안한다. 여기서 액션 간 전환 시에는 알려진 거리 측도에 기반한 비용이 발생한다. 유한한 거리 공간에 대해서는 복잡도 측도 $\mathcal{C}$를 기반으로 하여 $\widetilde{O}(\max\{\mathcal{C}^{1/3}T^{2/3}, \sqrt{kT}\})$의 날카운 감소한 리그레트 경계를 달성하는 효율적인 알고리즘을 제안하며, 이 $\mathcal{C}$는 커버링 수를 기반으로 하는 복잡도 측도이다. 무한한 공간에 대해서는 리프시츠 손실을 고려하여 $\widetilde{O}(T^{(d+1)/(d+2)})$의 리그레트 경계를 확장하며, 이때 $d$는 민코우스키 차원이다.

ABSTRACT

We consider the non-stochastic Multi-Armed Bandit problem in a setting where there is a fixed and known metric on the action space that determines a cost for switching between any pair of actions. The loss of the online learner has two components: the first is the usual loss of the selected actions, and the second is an additional loss due to switching between actions. Our main contribution gives a tight characterization of the expected minimax regret in this setting, in terms of a complexity measure $\mathcal{C}$ of the underlying metric which depends on its covering numbers. In finite metric spaces with $k$ actions, we give an efficient algorithm that achieves regret of the form $\widetilde{O}(\max\{\mathcal{C}^{1/3}T^{2/3},\sqrt{kT}\})$, and show that this is the best possible. Our regret bound generalizes previous known regret bounds for some special cases: (i) the unit-switching cost regret $\widetildeΘ(\max\{k^{1/3}T^{2/3},\sqrt{kT}\})$ where $\mathcal{C}=Θ(k)$, and (ii) the interval metric with regret $\widetildeΘ(\max\{T^{2/3},\sqrt{kT}\})$ where $\mathcal{C}=Θ(1)$. For infinite metrics spaces with Lipschitz loss functions, we derive a tight regret bound of $\widetildeΘ(T^{\frac{d+1}{d+2}})$ where $d \ge 1$ is the Minkowski dimension of the space, which is known to be tight even when there are no switching costs.

연구 동기 및 목표

• 액션 간 전환 비용이 알려진 거리 측도에 의해 정의되는 행동 공간에서 이동 비용이 존재하는 온라인 학습을 모델링하고 분석하기.
• 기존의 단위 전환 비용과 구간 거리 측도 연구를 일반화하여 임의의 유한 및 무한 거리 공간으로 확장하기.
• 이동 비용이 존재할 경우 최소 최대 리그레트를 특징짓는 복잡도 측도 $\mathcal{C}$를 규명하기.
• 유한 및 연속 거리 공간에서 최적의 리그레트를 달성하는 효율적인 알고리즘 개발하기.

제안 방법

• 저자들은 거리의 커버링 수를 기반으로 한 커버링/패킹 복잡도 측도 $\mathcal{C}$를 정의하여, 행동 공간 내 이동의 본질적 어려움을 캡처한다.
• 원래 거리 $\Delta$를 4-지배하는 트리 거리 $\Delta_{\mathcal{T}}$를 구성하며, 이때 $\mathcal{C}(\mathcal{T}) = O(\mathcal{C}_{\textrm{c}}(\Delta)\log k)$가 되도록 하여 트리 구조의 밴딧 문제로의 환원을 가능하게 한다.
• 샘플링 분포를 조절하여 먼 노드 간의 고비용 전환을 방지함으로써, Smb 알고리즘을 트리 거리로 일반화한다.
• 무한한 공간에 대해서는 $\epsilon$-넷을 사용하여 거리 공간을 이산화하고, 이산화된 경우의 결과를 적용하며, 근사와 리그레트의 균형을 맞추기 위해 $\epsilon$을 최적화한다.
• 리그레트 경계가 거리 공간의 민코우스키 차원 $d$에 따라 달라지며, 리프시츠 손실이 존재할 경우 $\widetilde{O}(T^{(d+1)/(d+2)})$의 리그레트를 달성함을 증명한다.
• 분석 결과, 유한한 차원을 가진 무한 공간에서 이동 비용은 기본적인 복잡도를 증가시키지 않으며, 이는 이론적 하한선과 동일한 경계를 달성하기 때문이다.

실험 결과

연구 질문

• RQ1 액션 간 전환이 알려진 거리 측도에 기반한 비용을 수반할 경우 다수의 손잡이 밴딧의 최적 리그레트는 무엇인가?
• RQ2 커버링 수로 측정되는 거리 공간의 본질적 기하학적 복잡도는 최소 최대 리그레트에 어떤 영향을 미치는가?
• RQ3 느린 이동 밴딧(SMB) 알고리즘이 구간 거리 측도를 초월하여 임의의 유한 거리 공간으로 일반화될 수 있는가?
• RQ4 리프시츠 손실이 존재하는 무한 차원 거리 공간에서 이동 비용을 추가하면 온라인 학습의 기본 복잡도가 증가하는가?
• RQ5 연속 거리 공간에 대해 가장 날카운 리그레트 경계는 무엇이며, 이는 거리 공간의 민코우스키 차원과 어떻게 관련이 있는가?

주요 결과

• 유한한 거리 공간에서 $k$개의 액션과 복잡도 $\mathcal{C}$를 가질 경우, 논문은 $\widetilde{O}(\max\{\mathcal{C}^{1/3}T^{2/3}, \sqrt{kT}\})$의 날카운 리그레트 경계를 확립하며, 이는 달성 가능하고 최적임을 보여준다.
• 알고리즘은 $k$와 $T$에 대해 다항 시간 내에 이 경계를 효율적으로 달성하며, 이는 이전의 단위 전환 비용($\mathcal{C} = \Theta(k)$)과 구간 거리 측도($\mathcal{C} = \Theta(1)$) 결과를 일반화한다.
• 모든 복잡도 $\mathcal{C}$를 가진 거리에 대해 $\widetilde{\Omega}(\max\{\mathcal{C}^{1/3}T^{2/3}, \sqrt{kT}\})$의 일치하는 하한선이 증명되어 상한선의 날카움을 확인한다.
• 리프시츠 손실이 존재하고 민코우스키 차원 $d \geq 1$인 무한 거리 공간에 대해서는 리그레트가 $\widetilde{O}(T^{(d+1)/(d+2)})$이며, 이는 이동 비용이 없는 경우에도 알려진 하한선과 일치한다.
• 놀랍게도, 유한한 민코우스키 차원을 가진 무한 공간에서 이동 비용을 추가해도 기본 복잡도가 증가하지 않으며, 리그레트 경계는 전환 비용이 없는 경우와 동일하다.
• 결과적으로, 행동 공간의 기하학적 구조, 즉 민코우스키 차원으로 캡처된 구조가 연속 설정에서 리그레트를 결정하는 주요 요소임을 시사한다.