[논문 리뷰] The Pareto Regret Frontier for Bandits

Tor Lattimore|arXiv (Cornell University)|2015. 10. 30.

Advanced Bandit Algorithms Research참고 문헌 16인용 수 11

한 줄 요약

이 논문은 확률적 다익음 밴드잇 문제에서 파레토 최소화된 위험 경계를 규명하며, 한 개의 암을 낮은 최악의 경우 위험으로 다루면 다른 암들이 상당히 높은 위험을 겪게 된다고 보여준다. 구체적으로, 어떤 알고리즘이 한 암에 대해 위험 $ B $ 를 달성한다면, 최소한 다른 한 암의 최악의 경우 위험은 $ \Omega(nK/B) $ 이상이어야 한다. 이는 전문가 설정에서보다 훨씬 더 심각한 기본적인 상충관계를 드러낸다.

ABSTRACT

Given a multi-armed bandit problem it may be desirable to achieve a smaller-than-usual worst-case regret for some special actions. I show that the price for such unbalanced worst-case regret guarantees is rather high. Specifically, if an algorithm enjoys a worst-case regret of B with respect to some action, then there must exist another action for which the worst-case regret is at least Ω(nK/B), where n is the horizon and K the number of actions. I also give upper bounds in both the stochastic and adversarial settings showing that this result cannot be improved. For the stochastic case the pareto regret frontier is characterised exactly up to constant factors.

연구 동기 및 목표

• 다익음 밴드잇 문제에서 일부 암이 특별 대우를 받을 경우 최악의 경우 위험의 상충관계를 이해하는 것.
• 특정 암의 위험을 줄일 수 있는 기본적인 한계를 규명하여 다른 암의 위험을 과도하게 증가시키지 않도록 하는 것.
• 확률적 밴드잇 가정 하에 모든 암에 대해 달성 가능한 위험 벡터에 대한 엄밀한 경계를 설정하는 것.
• 이러한 한계를 전문가 설정에서 관찰되는 더 유리한 위험 상충관계와 대조하는 것.

제안 방법

• 논문은 모든 $ i $ 에 대해 $ B_i \geq \min\left\{n, \sum_{j \neq i} \frac{n}{B_j}\right\} $ 를 만족하는 조건을 기반으로, 달성 가능한 최악의 경우 위험 벡터의 집합 $ \mathcal{B} \subset \mathbb{R}^K $ 을 정의한다.
• Gaussian 노이즈 하에서, 임의의 밴드잇 전략 $ \pi $ 에 대해 위험 벡터 $ R^\pi $ 가 $ c_1(R^\pi + K) \in \mathcal{B} $ 를 만족한다고 보여주는 하한을 증명한다. 여기서 $ c_1 = 8 $ 과 $ c_2 = 252 $ 는 일반 상수이다.
• 비균형 UCB 알고리즘을 구성함으로써 상한을 제공하여, 모든 $ i $ 에 대해 $ R^\pi_i \leq c_2 B_i $ 를 달성함으로써 하한과 상수 요소를 제외하고 일치시킨다.
• 상한은 서브가우시안 노이즈로 확장되었으며, 적대적 설정에서 수정된 Exp-γ 알고리즘을 통해 검증되었다.
• 이론적 분석은 비문제 의존적 및 문제 의존적 위험 경계를 비균형 UCB에 대해 제공하며, 渐近적으로 표준 UCB와 유사한 성능을 보임을 보여준다.
• 실험은 비균형 MOSS와 표준 MOSS를 비교하여, 암 간의 위험 상충관계에 대한 이론적 예측을 확인한다.

실험 결과

연구 질문

• RQ1 다익음 밴드잇 설정에서 한 암을 우선시할 경우 최악의 경우 위험의 기본적인 상충관계는 무엇인가?
• RQ2 한 암에 대해 상수 수준의 최악의 경우 위험을 확보하면서 다른 암의 위험을 유한하게 유지할 수 있는가?
• RQ3 특정 암을 낮은 위험으로 다루면, 비우선 암의 최악의 경우 위험은 어떻게 변화하는가?
• RQ4 전문가 설정에서 우선 제공되는 사전 정보 덕분에 한 전문가의 위험을 낮추는 데 비용이 거의 들지 않듯, 밴드잇 설정의 위험 경계는 얼마나 민첩한가?
• RQ5 상수 요소를 제외한 모든 암에 대해 달성 가능한 위험 벡터의 가장 엄밀한 경계는 무엇인가?

주요 결과

• 어느 암 $ i $ 의 최악의 경우 위험을 $ B $ 이하로 낮출 수 없으며, 이는 최소한 다른 한 암 $ j $ 가 $ \Omega(nK/B) $ 이상의 위험을 지닐 수밖에 없음을 의미한다. 이는 강력한 상충관계를 확립한다.
• 확률적 설정에서 파레토 위험 경계는 상수 요소를 제외하고 정확히 규명되었으며, 집합 $ \mathcal{B} $ 는 모든 달성 가능한 위험 벡터를 포괄한다.
• $ B \in \mathcal{B} $ 이면 모든 $ i $ 에 대해 $ R^\pi_i \leq c_2 B_i $ 를 만족하는 전략 $ \pi $ 가 존재한다. 여기서 $ c_2 = 252 $ 이므로 상한이 상수 요소를 제외하고 정확히 일치함을 증명한다.
• 비균형 UCB 알고리즘은 비문제 의존적 위험 $ O(B_{i^*} \sqrt{\log n}) $ 과 문제 의존적 위험 $ O\left(B_{i^*} \sqrt{\log n} \cdot \mathbf{1}_{\{A \neq \emptyset\}} + \sum_{i \in A} \frac{1}{\Delta_i} \log n\right) $ 을 달성하며, 渐近적으로 표준 UCB와 일치한다.
• 실험 결과는 최적의 암이 우선 대우를 받는 경우 비균형 알고리즘이 표준 MOSS를 능가하지만, 최적의 암이 우선 대우를 받지 않는 경우에선 상당히 떨어지는 성능을 보임을 확인한다.
• 하한은 Gaussian 노이즈에 의존하며, 모든 서브가우시안 모델에 대해 성립하지는 않음(예: 노이즈 없음), 그러나 상한은 일반적인 서브가우시안 노이즈에 대해 성립한다.