[논문 리뷰] Corralling a Band of Bandit Algorithms

Alekh Agarwal, Haipeng Luo외 2명|arXiv (Cornell University)|2016. 12. 19.

Advanced Bandit Algorithms Research참고 문헌 18인용 수 7

한 줄 요약

이 논문은 다수의 밴딧 알고리즘을 조합하여 고립된 상태에서 가장 우수한 기본 알고리즘과 유사한 리그레트를 달성하는 마스터 알고리즘인 Corral을 제안한다. 적응형 학습률을 갖는 새로운 로그-바리어-OMD 프레임워크를 통해, 성능이 열 劣이지만 잠재적으로 뛰어난 기본 알고리즘에 대한 지속적인 탐색을 보장하며, 다중 암드, 컨텍스추얼, 볼록 밴딧 환경에서 O(√T) 리그레트를 달성한다.

ABSTRACT

We study the problem of combining multiple bandit algorithms (that is, online learning algorithms with partial feedback) with the goal of creating a master algorithm that performs almost as well as the best base algorithm if it were to be run on its own. The main challenge is that when run with a master, base algorithms unavoidably receive much less feedback and it is thus critical that the master not starve a base algorithm that might perform uncompetitively initially but would eventually outperform others if given enough feedback. We address this difficulty by devising a version of Online Mirror Descent with a special mirror map together with a sophisticated learning rate scheme. We show that this approach manages to achieve a more delicate balance between exploiting and exploring base algorithms than previous works yielding superior regret bounds. Our results are applicable to many settings, such as multi-armed bandits, contextual bandits, and convex bandits. As examples, we present two main applications. The first is to create an algorithm that enjoys worst-case robustness while at the same time performing much better when the environment is relatively easy. The second is to create an algorithm that works simultaneously under different assumptions of the environment, such as different priors or different loss structures.

연구 동기 및 목표

• 기본 알고리즘이 상태를 유지하고 최적 성능에 도달하기 위해 지속적인 피드백이 필요한 경우에도, 최상의 기본 밴딧 알고리즘과 거의 동일한 성능을 내는 마스터 알고리즘을 설계하는 것.
• 기본 알고리즘이 성능 향상에 지연이 있는 경우, 부족한 피드백으로 인해 간과당하는 '결핍 문제'를 해결하는 것.
• 기본 알고리즘에 제한된 피드백만 제공하는 마스터의 부분 피드백 설정에도 불구하고, 최상의 기본 알고리즘과 동일한 리그레트 범위(예: O(√T))를 달성하는 것.
• 데이터의 구조를 사전에 알지 못한 채, i.i.d. 또는 적대적 데이터와 같은 다양한 환경에서 적응형 성능을 보장하는 것.
• 다양한 가정(예: 서로 다른 사전 확률 또는 손실 구조) 하에서 동시에 작동할 수 있도록, 가장 적합한 기본 알고리즘을 동적으로 선택하는 것.

제안 방법

• 기본 알고리즘의 성능을 극대화하기 위해, 로그-바리어 미러 맵 ψ(p) = −∑(1/η_t,i) ln p_i 를 사용하는 온라인 미러 디센트(OMD) 기반의 새로운 마스터 알고리즘인 Corral을 제안한다. 이는 1/p_t,i 의 선형적 증가를 보장하여 극단적인 가중치 부여를 방지한다.
• 피드백 확률이 낮을 경우에 학습률 η_t,i 가 증가하는 비감소적이고 적응형 학습률 스케줄을 도입하여, 성능이 열 劣이지만 잠재적으로 강력한 알고리즘에 대한 탐색을 촉진한다.
• 극단적인 확률을 방지하고 기본 알고리즘의 조기 고갈을 막기 위해, 부드러운 샘플링 분포 p̄_t = (1−ε)p_t + ε/M 를 사용한다.
• 시간 t에 선택된 기본 알고리즘 i에 대해, 편향 없는 손실 추정치 ℓ_t,i = f_t(θ_t,x_t)/p̄_t,i 를 사용하여 일관된 기울기 갱신을 보장한다.
• 주요 항 ∑_t (1/η_{t+1,i} − 1/η_{t,i}) / p̄_{t+1,i} 가 음수이거나 제어 가능하도록 하는 리그레트 분해를 유도하며, 이는 날카운 리그레트 한계를 달성하는 데 기여한다.
• 다양한 밴딧 프레임워크에 일반화 가능함을 보여주기 위해, 다중 암드, 컨텍스추얼, 볼록 밴딧 환경에 이 방법을 적용한다.

실험 결과

연구 질문

• RQ1 기본 알고리즘이 상태를 유지하고 지속적인 피드백이 필요한 경우에도, 최상의 기본 밴딧 알고리즘과 유사한 리그레트를 달성할 수 있는 마스터 알고리즘을 설계할 수 있는가?
• RQ2 성능이 초반에 열 劣이지만 결국 다른 알고리즘을 능가하는 알고리즘의 고갈을 방지하기 위해 마스터 알고리즘은 어떻게 해야 하는가?
• RQ3 기본 알고리즘이 고립 상태에서 O(√T) 리그레트를 달성하는 경우, 제한된 피드백 설정에도 불구하고 마스터 알고리즘이 O(√T) 리그레트를 달성할 수 있는가?
• RQ4 강력한 이용과 지속적인 탐색을 동시에 달성할 수 있는 미러 맵과 학습률 스케줄은 무엇인가?
• RQ5 데이터의 구조를 사전에 알지 못한 채, i.i.d. 대비 적대적 환경 등 다양한 환경에서 마스터 알고리즘이 적응적으로 잘 작동할 수 있는가?

주요 결과

• 제안된 Corral 알고리즘은 최상의 기본 알고리즘이 O(√T) 리그레트를 달성할 경우, 마스터 알고리즘에서도 O(√T) 리그레트를 달성하여, 앙상블 밴딧 학습 분야의 열린 문제를 해결한다.
• 로그-바리어 미러 맵을 사용함으로써 1/p_t,i 가 누적 손실에 따라 선형적으로 증가하며, 극단적인 가중치 부여를 최소화하고 알고리즘의 고갈을 방지한다.
• 피드백 확률이 낮을 경우 학습률 η_t,i 가 증가하는 적응형 학습률 스케줄은 성능이 열 劣이지만 잠재적으로 강력한 기본 알고리즘에 대한 더 활발하고 정밀한 탐색을 가능하게 한다.
• 부드러운 샘플링 분포 p̄_t 는 높은 확률을 가진 기본 알고리즘에 대한 과도한 집중을 방지하여, 알고리즘의 강건성과 안정성을 향상시킨다.
• 이 알고리즘은 다중 암드 밴딧, 컨텍스추얼 밴딧, 볼록 밴딧에 모두 적용 가능하여 광범위한 일반성과 강력한 이론적 보장을 보여준다.
• 리그레트 분석 결과, 핵심 항 ∑_t (1/η_{t+1,i} − 1/η_{t,i}) / p̄_{t+1,i} 는 음수이거나 제어 가능하며, 이는 최적의 리그레트 한계를 달성하는 데 필수적이다.