[논문 리뷰] Parallelizing Thompson Sampling

Amin Karbasi, Vahab Mirrokni외 1명|arXiv (Cornell University)|2021. 06. 02.

Advanced Bandit Algorithms Research참고 문헌 44인용 수 5

한 줄 요약

이 논문은 스위치 기반 다중 암 랜드 및 선형 컨텍스트 밸런스 밴딧 문제에서 渐近적으로 최적의 리그레트를 달성하면서도, 동적 배치 메커니즘을 통해 순차적 상호작용을 T에서 O(log T)로 줄이는 배치 톰슨 샘플링 프레임워크를 제안한다. 오프라인 리그레트 추정에 기반해 배치 지속 시간을 적응적으로 결정함으로써, 오직 O(N log T)개의 배치로 near-최적의 성능를 유지하며 실험적으로 정적 배치 정책보다 뚜렷이 뛰어난 성능을 보인다.

ABSTRACT

How can we make use of information parallelism in online decision making problems while efficiently balancing the exploration-exploitation trade-off? In this paper, we introduce a batch Thompson Sampling framework for two canonical online decision making problems, namely, stochastic multi-arm bandit and linear contextual bandit with finitely many arms. Over a time horizon $T$, our extit{batch} Thompson Sampling policy achieves the same (asymptotic) regret bound of a fully sequential one while carrying out only $O(\log T)$ batch queries. To achieve this exponential reduction, i.e., reducing the number of interactions from $T$ to $O(\log T)$, our batch policy dynamically determines the duration of each batch in order to balance the exploration-exploitation trade-off. We also demonstrate experimentally that dynamic batch allocation dramatically outperforms natural baselines such as static batch allocations.

연구 동기 및 목표

• 병렬 정보 접근 조건 하에서 탐색과 이용의 균형을 맞추는 데 도전하는 것.
• 스토케스틱 밴딧 문제에서 점점 증가하는 순차적 상호작용을 T에서 O(log T)로 줄이면서 渐近적으로 리그레트 최적성을 유지하는 것.
• 탐색과 이용을 균형 잡기 위해 적응적으로 배치 지속 시간을 설정하는 동적 배치 메커니즘을 개발하는 것.
• 실험적으로 동적 배치 할당이 정적 배치 기준선보다 리그레트 성능에서 뛰어나다는 것을 입증하는 것.
• 이론적 리그레트 보장을 제공하면서도 다중 암 랜드 및 선형 컨텍스트 밴딧 설정 모두에 프레임워크를 확장하는 것.

제안 방법

• N개의 암을 가진 스위치 기반 다중 암 밴딧에 대해 O(N log T)개의 배치와 문제에 따라 최적의 리그레트를 달성하는 배치 톰슨 샘플링(B-TS)을 제안한다.
• O(N log T)개의 배치로 최소화 최적 리그레트 최적성을 달성하는 배치 최소 최대 최적 톰슨 샘플링(B-MOTS)을 도입하며, 개선된 경계를 위해 정규 분포 사전을 사용한다.
• d차원 특징을 가진 선형 밴딧에 대해 O(N log T)개의 배치로 Õ(d^{3/2}√T) 리그레트를 달성하는 컨텍스트 밴딧을 위한 배치 톰슨 샘플링(B-TS-C)을 개발한다.
• 각 배치의 지속 시간을 결정하기 위해 오프라인 리그레트 누적 추정을 기반으로 한 동적 배치 메커니즘을 활용하며, 리그레트를 최소화하면서 상호작용 빈도를 감소시킨다.
• 필터링 F_{B(t)}를 포함한 슈퍼마틴게일 프레임워크를 사용하여 리그레트를 경계하며, 사건 지표와 농도 불등식을 통합한다.
• 아즈마-후이딩 및 고유값 기반 경계(Chu 등 [2011]에 기반)를 적용하여 샘플링 분산의 합을 통제하고 고확률 리그레트 경계를 보장한다.

실험 결과

연구 질문

• RQ1 톰슨 샘플링은 순차적 상호작용을 줄이기 위해 병렬화될 수 있는가, 동시에 渐近적으로 리그레트 최적성을 유지할 수 있는가?
• RQ2 배치 크기와 배치 빈도는 어떻게 동적으로 조정되어야 하며, 배치 기반 밴딧 설정에서 탐색과 이용을 균형 잡을 수 있는가?
• RQ3 스토케스틱 밴딧 문제에서 near-최적 리그레트를 달성하기 위해 필요한 최소 배치 수는 얼마인가?
• RQ4 동적 배치 할당은 정적 배치 정책보다 리그레트 성능 측면에서 뛰어나게 작용하는가?
• RQ5 다중 암 랜드 및 컨텍스트 밴딧 설정 모두에서, 배치 및 병렬 실행 조건 하에서도 톰슨 샘플링의 이론적 리그레트 경계는 유지되는가?

주요 결과

• 제안된 배치 톰슨 샘플링 프레임워크는 완전히 순차적인 톰슨 샘플링과 동일한 渐近적 리그레트 경계를 달성하며, T가 아닌 오직 O(log T)개의 배치로 이루어진다.
• 스토케스틱 다중 암 밴딧의 경우, B-TS는 베타 사전을 사용할 때 문제에 따라 최적의 리그레트 O(log T)와 문제에 무관한 리그레트 O(√(NT log T))를 달성하며, 정규 사전을 사용할 경우 O(√(NT log N))으로 향상된다.
• B-MOTS는 O(N log T)개의 배치로 최소 최대 최적 리그레트 경계 O(√(NT))를 달성하며, B-MOTS-J는 정규 보상 하에서 최소 최대 및 渐近 최적성을 모두 확보한다.
• 선형 컨텍스트 밴딧의 경우, B-TS-C는 O(N log T)개의 배치로 Õ(d^{3/2}√T) 리그레트를 달성하며, 순차적 설정에서의 최첨단 성능을 재현한다.
• 실험 결과 동적 배치 할당이 동일한 수의 배치를 가진 정적 배치 정책보다 리그레트를 크게 감소시킴을 보였다.
• 오프라인 리그레트 추정에 기반한 동적 배치 메커니즘은 상호작용 횟수를 T에서 O(log T)로 기하급수적으로 감소시키며, 리그레트 성능을 희생시키지 않고도 가능하게 한다.