[논문 리뷰] Cheap Bandits

Manjesh K. Hanawal, Venkatesh Saligrama외 2명|arXiv (Cornell University)|2015. 06. 15.

Advanced Bandit Algorithms Research참고 문헌 30인용 수 20

한 줄 요약

이 논문은 기존 방법의 성능을 유지하면서 감지 비용을 최소화하기 위해 그래프 상에서 보상의 매끄러운 구조를 활용하는 밴딧 알고리즘인 CheapUCB를 소개한다. 개별 행동 감지보다 저렴한 그룹 수준의 평균 보상 관측을 활용함으로써 선형 비용 스케일링을 달성하고, 효과 차원 $d$를 갖는 그래프 상의 스펙트럴 밴딧에 대해 $O(\sqrt{dT})$의 하한을 설정한다.

ABSTRACT

We consider stochastic sequential learning problems where the learner can observe the extit{average reward of several actions}. Such a setting is interesting in many applications involving monitoring and surveillance, where the set of the actions to observe represent some (geographical) area. The importance of this setting is that in these applications, it is actually extit{cheaper} to observe average reward of a group of actions rather than the reward of a single action. We show that when the reward is extit{smooth} over a given graph representing the neighboring actions, we can maximize the cumulative reward of learning while extit{minimizing the sensing cost}. In this paper we propose CheapUCB, an algorithm that matches the regret guarantees of the known algorithms for this setting and at the same time guarantees a linear cost again over them. As a by-product of our analysis, we establish a $\Omega(\sqrt{dT})$ lower bound on the cumulative regret of spectral bandits for a class of graphs with effective dimension $d$.

연구 동기 및 목표

• 개별 행동 관측보다 그룹 평균 관측이 더 저렴한 순차적 학습 문제를 해결하기 위해.
• 감시 및 모니터링 응용 분야에서 인접 행동을 나타내는 그래프 구조를 기반으로 보상의 매끄러움을 모델링하기 위해.
• 최적의 실수 성능을 유지하면서 감지 비용을 최소화하는 알고리즘을 설계하기 위해.
• 효과 차원 $d$를 갖는 그래프 상의 스펙트럴 밴딧에 대한 실수의 기본 하한을 설정하기 위해.

제안 방법

• 이웃 행동이 유사한 보상을 갖는 그래프 상에서 보상을 매끄럽게 모델링한다.
• 개별 행동 보상보다 저렴하게 확보할 수 있는 그룹 수준의 평균 보상 관측을 피드백으로 사용한다.
• 상한 신뢰도 기반으로 관측할 행동 그룹을 선택하는 UCB 기반 알고리즘인 CheapUCB를 설계한다.
• 그래프의 스펙트럼 성질을 활용하여 실수를 제한하고 비용 효율성을 확보한다.
• 그래프의 효과 차원 $d$를 사용하여 매끄러움 가정 하에 실수를 분석한다.
• 효과 차원 $d$를 갖는 그래프의 일군의 클래스에 대해 누적 실수에 대한 $ Omega(\sqrt{dT})$ 하한을 유도한다.

실험 결과

연구 질문

• RQ1 그룹 평균 보상을 사용함으로써 실수 성능을 희생시키지 않고 감지 비용을 줄일 수 있는 밴딧 알고리즘을 설계할 수 있는가?
• RQ2 그래프 상에서의 보상 매끄러움은 순차적 학습에서 감지 비용과 실수 간의 트레이드오프에 어떻게 영향을 미치는가?
• RQ3 효과 차원 $d$를 갖는 그래프 상의 스펙트럴 밴딧에 대한 실수의 기본 한계는 무엇인가?
• RQ4 표준 밴딧 알고리즘의 실수 보장을 유지하면서 감지 비용을 선형 스케일링으로 달성할 수 있는가?

주요 결과

• CheapUCB는 표준 밴딧 알고리즘과 동일한 실수 보장을 확보하면서 감지 비용을 선형 스케일링으로 줄였다.
• 알고리즘이 그래프 상의 보상 매끄러움을 활용하여 효율적인 그룹 관측을 수행함으로써 운영 비용을 크게 낮췄다.
• 효과 차원 $d$를 갖는 그래프 상의 스펙트럴 밴딧에 대해 누적 실수에 대한 $ Omega(\sqrt{dT})$ 하한이 확립되었다.
• 이 하한은 CheapUCB의 실수 스케일링이 이 클래스의 그래프에 대해 정보 이론적으로 최적임을 확인한다.
• 결과는 보상의 매끄러움 가정 하에 그룹 관측이 비용 효율적일 뿐 아니라 이론적으로도 타당하다는 것을 보여준다.
• 분석은 그래프의 스펙트럼 성질, 특히 그 효과 차원이 이 설정에서 실수의 기본 한계를 직접적으로 결정함을 보여준다.