[논문 리뷰] Multiple Identifications in Multi-Armed Bandits

Sébastien Bubeck, Tengyao Wang외 1명|arXiv (Cornell University)|2012. 05. 14.

Advanced Bandit Algorithms Research참고 문헌 4인용 수 18

한 줄 요약

이 논문은 고정된 예산 하에서 다중 레버리지 밴딧 설정에서 상위 $m$개의 레버를 식별하기 위한 SAR(연속 수용 및 기각) 알고리즘을 제안한다. 새로운 복잡도 측정 기준 $H^{\langle m\rangle}$를 제안하고, SAR가 $\tilde{\mathcal{O}}(H^{\langle m\rangle})$의 샘플 복잡도를 달성함을 증명하며, 특히 $m > 1$일 경우 기준 방법인 연속 기각(SR) 및 균일 샘플링보다 크게 향상됨을 보여준다. 이 방법은 다중 밴딧 최적 레버 식별 문제에 대해 파rameter-free 해법을 유도하는 부가적 이점도 제공한다.

ABSTRACT

We study the problem of identifying the top $m$ arms in a multi-armed bandit game. Our proposed solution relies on a new algorithm based on successive rejects of the seemingly bad arms, and successive accepts of the good ones. This algorithmic contribution allows to tackle other multiple identifications settings that were previously out of reach. In particular we show that this idea of successive accepts and rejects applies to the multi-bandit best arm identification problem.

연구 동기 및 목표

• 고정된 예산 하에서 다중 레버리지 밴딧에서 상위 $m$개의 레버를 식별하는 열린 문제를 해결함으로써, 이전의 단일 최적 레버 식별 연구를 확장한다.
• 단일 최적 레버 식별에서의 복잡도 측정 기준 $H$를 상위-$m$개 레버 식별로 일반화하여, 딱지 특성으로서의 $H^{\langle m\rangle}$를 도입한다.
• Gabillon 등(2011)에서 제기한 열린 문제를 해결하기 위해 다중 밴딧 최적 레버 식별 문제에 대해 파rameter-free 알고리즘을 개발한다.
• 기존 알고리즘인 SR이 $m > 1$일 경우 본질적으로 비효율적임을 입증하며, 다중 식별 설정에서의 상충 관계가 단일 식별과 본질적으로 다름을 드러낸다.

제안 방법

• 하나의 레버가 열악하다고 간주될 경우 기각하고, 상위 $m$개에 속할 가능성이 높은 레버를 수용하는 방식으로 번갈아가며 작동하는 SAR(연속 수용 및 기각) 알고리즘을 제안한다.
• 단일 레버의 $H_1$ 측정 기준을 일반화하여, $H^{\langle m\rangle} = \sum_{i=1}^{K} \frac{1}{\Delta_i^{(m)\,2}}$로 정의되는 새로운 복잡도 측정 기준을 도입한다. 여기서 $\Delta_i^{(m)}$는 $m$-번째 평균과 $(m+1)$-번째 평균 사이의 갭이다.
• 각 단계에서 레버의 경험적 평균 순위와 갭 추정치에 기반해 고정된 수의 추출을 할당하는 단계별 샘플링 전략을 사용한다.
• 탐색과 이용의 균형을 이루기 위해 $c\sqrt{n / H^{\langle m\rangle} / T_i(t)}$의 탐색 보너스를 사용하는 신뢰도 기반 선택 규칙을 적용한다.
• 각 밴딧을 독립적인 인스턴스로 간주하여 SAR 프레임워크를 다중 밴딧 설정에 적용함으로써, $\tilde{\mathcal{O}}(H^{[M]})$의 복잡도를 가지는 파rameter-free 알고리즘을 구현한다.
• 귀납법과 농도 불등식을 사용하여 잘못된 선택 확률에 대한 이론적 경계를 유도하며, 알고리즘이 높은 확률로 잘못된 선택을 피함을 증명한다.

실험 결과

연구 질문

• RQ1 연속 기각(SR) 프레임워크를 단일 최적 레버가 아닌 상위 $m$개의 레버 식별로 확장할 수 있으며, 만약 가능하면 어떤 수정이 필요한가?
• RQ2 단일 레버 식별의 복잡도 측정 기준 $H$를 상위-$m$개 레버 설정으로 일반화할 경우, 그 적절한 일반화 방법은 무엇이며, 샘플 복잡도에 어떤 영향을 미치는가?
• RQ3 SR 알고리즘이 $m > 1$일 경우 상위 $m$개 레버 식별 문제에서 성능이 열악한 이유는 무엇이며, 단일 레버 경우와 비교해 어떤 구조적 차이점이 있는가?
• RQ4 SAR 알고리즘은 $H^{[M]}$의 복잡도에 대한 사전 지식 없이 다중 밴딧 최적 레버 식별 문제를 해결하는 데에 적응 가능할 수 있는가?
• RQ5 다양한 갭 분포에서 SAR의 성능을 균일 샘플링 및 Gap-E와 같은 UCB 기반 방법과 비교했을 때, 잘못된 식별 확률 측면에서 어떤 차이가 있는가?

주요 결과

• SAR 알고리즘은 상위 $m$개 레버 식별에 대해 $\tilde{\mathcal{O}}(H^{\langle m\rangle})$의 샘플 복잡도를 달성하며, 로그 인자 외에는 최적 속도에 맞춘다.
• SR 알고리즘이 $m > 1$일 경우 많은 설정에서 균일 샘플링보다 성능이 열 劣함을 보이며, 이는 다중 식별 설정에서의 상충 관계가 단일 식별과 본질적으로 다름을 시사한다.
• 제안된 복잡도 측정 기준 $H^{\langle m\rangle}$는 단일 레버의 $H_1$를 일반화하며, 평균 갭에 기반해 상위 $m$개 레버 식별의 난이도를 캡처한다.
• 수치 실험 결과, SAR는 균일 샘플링을 일관되게 능가하며, $H^{\langle m\rangle}$의 지식이 필요한 Gap-E와 유사하거나 略적으로 뛰어난 성능을 보였다.
• SAR 프레임워크를 통해 $\tilde{\mathcal{O}}(H^{[M]})$의 복잡도를 가지는 다중 밴딧 최적 레버 식별에 대한 파rameter-free 알고리즘을 도입하며, Gabillon 등(2011)에서 제기한 열린 문제를 해결한다.
• 이론적 분석을 통해 SAR가 단계적 샘플링을 통해 상위 레버와 하위 레버 간의 경험적 평균 갭을 충분히 분리함으로써 잘못된 식별을 높은 확률로 피하는 것을 입증한다.