[논문 리뷰] Distributed Exploration in Multi-Armed Bandits

Eshcar Hillel, Zohar Karnin외 3명|arXiv (Cornell University)|2013. 11. 04.

Advanced Bandit Algorithms Research참고 문헌 23인용 수 40

한 줄 요약

이 논문은 k명의 협력자 플레이어가 ε-최적의 암을 식별하고자 하는 분산 다중 손잡이 밴딧 탐색을 연구한다. 단일 라운드 통신 프로토콜을 제안하여 단일 플레이어 학습 대비 √k의 속도 향상을 달성하고, 로그(1/ε) 수준의 통신을 통해 이상적인 k배 속도 향상을 실현하는 프로토콜을 제안함으로써, 대규모 분산 시스템에서 통신과 학습 효율성 간의 근본적인 트레이드오프를 규명한다.

ABSTRACT

We study exploration in Multi-Armed Bandits in a setting where $k$ players collaborate in order to identify an $ε$-optimal arm. Our motivation comes from recent employment of bandit algorithms in computationally intensive, large-scale applications. Our results demonstrate a non-trivial tradeoff between the number of arm pulls required by each of the players, and the amount of communication between them. In particular, our main result shows that by allowing the $k$ players to communicate only once, they are able to learn $\sqrt{k}$ times faster than a single player. That is, distributing learning to $k$ players gives rise to a factor $\sqrt{k}$ parallel speed-up. We complement this result with a lower bound showing this is in general the best possible. On the other extreme, we present an algorithm that achieves the ideal factor $k$ speed-up in learning performance, with communication only logarithmic in $1/ε$.

연구 동기 및 목표

• 분산 다중 손잡이 밴딧 탐색에서 플레이어 간 통신과 학습 성능 간의 트레이드오프를 이해하는 것.
• 최소한의 통신, 특히 단일 통신 라운드로 비트리비얼한 학습 속도 향상이 달성될 수 있는지 조사하는 것.
• 통신 제약 조건 하에서 협업 밴딧 학습의 병렬 처리 속도 향상의 이론적 한계를 규명하는 것.
• 특히 대규모이고 계산적으로 복잡한 응용 분야에 적합한, 통신 비용과 학습 효율성의 균형을 이루는 알고리즘을 설계하는 것.
• 분산 밴딧 학습에서 최적의 속도 향상을 달성하기 위해 필요한 통신 요구 사항의 하한을 설정하는 것.

제안 방법

• 플레이어들이 신뢰구간 기반의 계층적 제거 과정을 통해 공동으로 열악한 암을 제거하는 단일 라운드 통신 프로토콜을 제안한다.
• 모든 순차적 탐색 알고리즘을 k명의 플레이어 프로토콜을 통해 분산 환경으로 변환하여, 암 추출을 플레이어 간 분산함으로써 √k의 병렬 속도 향상을 달성한다.
• 임계값 기반 제거 전략을 적용하여, r라운드 후 εr-최적의 암이 아닌 암을 제거하며, εr은 기하급수적으로 감소한다.
• Hoeffding의 부등식을 사용하여 잘못된 제거 확률을 제한함으로써, 최종 선택된 암의 고확률 정확성을 보장한다.
• 1/ε에 대해 로그 수준의 통신을 갖는 다중 라운드 프로토콜을 도입하여, 플레이어들이 공유된 결과를 바탕으로 초점을 조정함으로써 k배 속도 향상을 실현한다.
• 집중 불등식과 재귀적 제거 깊이를 사용하여 플레이어당 암 추출 수의 범위를 유도하며, Δεi와 k에 대한 의존성을 보여준다.

실험 결과

연구 질문

• RQ1 단일 통신 라운드로만 가능한 분산 다중 손잡이 밴딧 알고리즘이 비트리비얼한 속도 향상을 달성할 수 있는가?
• RQ2 통신이 단일 라운드로 제한될 경우 분산 밴딧 탐색에서 달성 가능한 최대 병렬 처리 속도 향상은 얼마인가?
• RQ3 1/ε에 대해 통신 비용이 초선형일 때, 학습 성능에서 이상적인 k배 속도 향상을 달성할 수 있는가?
• RQ4 통신 라운드 수가 학습 효율성과 통신 오버헤드 간의 트레이드오프에 미치는 영향는 어떠한가?
• RQ5 협업 밴딧 학습에서 최적의 속도 향상을 달성하기 위해 필요한 통신의 기본 하한은 무엇인가?

주요 결과

• 단일 라운드 통신 프로토콜은 단일 플레이어 학습 대비 √k의 병렬 속도 향상을 달성하며, 조건부 통신조차도 상당한 성능 향상을 이끌 수 있음을 보여준다.
• √k의 속도 향상은 하한이 일치함으로써 점 渐차적으로 최적임을 입증되며, 단일 통신 라운드로는 더 나은 속도 향상이 불가능함을 의미한다.
• 1/ε에 대해 로그 수준의 통신을 갖는 다중 라운드 프로토콜은 학습 성능에서 이상적인 k배 속도 향상을 실현하며, 완전한 병렬 처리 효율성을 달성한다.
• 플레이어당 암 추출 수는 하위 최적성 갭 Δεi의 역수 제곱의 O(1/k) 배이며, 갭과 k에 강한 의존성을 보인다.
• 제거 임계값 εr를 조정함으로써 알고리즘은 최대 R회의 통신 라운드 내에서 종료되며, 추출 복잡도는 플레이어당 O(ε^(-2/R)/k)로 스케일링된다.
• 알고리즘은 고확률(1−δ)로 종료 후 오직 ε-최적의 암만 남아 있음을 보장하며, 보상 추정의 집중 불등식을 통해 정확성이 보장된다.