[논문 리뷰] Corralling Stochastic Bandit Algorithms

Raman Arora, Teodor V. Marinov외 1명|arXiv (Cornell University)|2020. 06. 16.

Advanced Bandit Algorithms Research참고 문헌 32인용 수 4

한 줄 요약

이 논문은 내부 구조나 암호 집합에 직접적인 접근 없이 여러 기본 밴딧 알고리즘을 조합하는 두 가지 새로운 코랄링 알고리즘을 제안한다. 적응형 스텝-사이즈와 로그-바리에어 퍼텐셜을 활용한 미러 디센트를 통해, 이 방법은 $ ilde{O}(b{E}[R_{i^*}(T)] + K ilde{O}(T))$의 리그레트 바운드를 달성한다. 여기서 $b{E}[R_{i^*}(T)]$는 최고의 기본 알고리즘의 리그레트이며 $K$는 기본 알고리즘의 수이다. 이는 스위치 설정에서 이전의 $ ilde{O}( ilde{O}(T))$ 바운드보다 크게 향상된 결과이다.

ABSTRACT

We study the problem of corralling stochastic bandit algorithms, that is combining multiple bandit algorithms designed for a stochastic environment, with the goal of devising a corralling algorithm that performs almost as well as the best base algorithm. We give two general algorithms for this setting, which we show benefit from favorable regret guarantees. We show that the regret of the corralling algorithms is no worse than that of the best algorithm containing the arm with the highest reward, and depends on the gap between the highest reward and other rewards.

연구 동기 및 목표

• 내부 구조나 암호 집합에 접근할 수 없는 여러 스위치 밴딧 알고리즘을 조합하는 코랄링 알고리즘을 설계하는 것.
• 특히 최고의 암 보상과 다른 암들 사이의 양의 갭이 존재할 경우, 최고의 기본 알고리즘과 거의 같은 리그레트 보장을 달성하는 것.
• 갭-의존적 종속성을 활용하여 스위치 설정에서 이전의 $\tilde{O}(\sqrt{T})$ 리그레트 바운드를 향상시키는 것.
• 기본 알고리즘이 기밀이어서 직접 수정할 수 없는 실용적 상황, 예를 들어 온라인 광고 할당 및 모기지 브로커 시스템을 다루는 것.

제안 방법

• 성능에 따라 기본 밴딧 알고리즘 간에 동적으로 선택하는 데 로그-바리에어 퍼텐셜을 활용한 미러 디센트 프레임워크를 사용한다.
• 탐색과 이용을 균형 있게 조절하기 위해 적응형, 비감소 스텝-사이즈 스케줄을 적용한다.
• 자기 바운딩 추론을 통해 알고리즘 성능이 최고의 기본 알고리즘과의 편차를 제한하는 안정성 분석을 도입한다.
• 재시작을 방지하기 위해 스무딩 기법을 적용하여 안정성과 수렴성을 향상시킨다.
• 시간이 지남에 따라 혼합 가중치를 갱신하기 위해 이중 평균 접근법을 사용하여 기울기 추정을 수행한다.
• 총 리그레트를 최고의 기본 알고리즘 성능, 안정성, 스텝-사이즈 제어와 관련된 항으로 분해함으로써 리그레트 바운드를 유도한다.

실험 결과

연구 질문

• RQ1 코랄링 알고리즘이 스위치 환경에서 최고의 기본 밴딧 알고리즘과 거의 같은 리그레트를 달성할 수 있는가?
• RQ2 기본 알고리즘의 내부 파rameter에 직접 접근할 수 없을 때, 어떻게 갭-의존적 리그레트 보장을 달성할 수 있는가?
• RQ3 다양한 기본 밴딧 알고리즘을 최적의 방식으로 조합하여 누적 리그레트를 최소화하면서 재시작을 피할 수 있는가?
• RQ4 기본 알고리즘이 암을 공유하거나 동일한 액션 세트를 공유할 경우에도 알고리즘이 유리한 리그레트 바운드를 유지할 수 있는가?

주요 결과

• 코랄링 알고리즘은 $ ilde{O}(\bb{E}[R_{i^*}(T)] + K\sqrt{T})$의 리그레트 바운드를 달성한다. 여기서 $b{E}[R_{i^*}(T)]$는 최고의 기본 알고리즘의 기대 리그레트이며 $K$는 기본 알고리즘의 수이다.
• 리그레트는 최고 보상 암과 다른 암들 사이의 갭에 유리하게 의존하여, 스위치 설정에서 이전의 $ ilde{O}(\sqrt{T})$ 바운드를 초월한다.
• 스무싱 기법을 통해 기본 밴딧 알고리즘의 재시작을 방지함으로써 안정적이고 지속적인 성능을 확보한다.
• 리그레트 분석에서 안정성 항은 갭 조건이 만족될 경우 상쇄되는 항을 포함하는 자기 바운딩 추론을 통해 제한된다.
• 스텝-사이즈 스케줄을 신중히 제어하고 로그-바리에어 미러 매핑을 사용하여 가중치 안정성을 유지함으로써 수렴성을 향상시킨다.
• 이론적 분석은 기본 알고리즘이 알려져 있지 않거나 상호작용하지 않는 상황에서도 알고리즘이 최고의 기본 알고리즘과 거의 같은 성능을 보임을 확인한다.