[논문 리뷰] A General Framework to Analyze Stochastic Linear Bandit

Nima Hamidi, Mohsen Bayati|arXiv (Cornell University)|2020. 02. 12.

Advanced Bandit Algorithms Research참고 문헌 29인용 수 15

한 줄 요약

이 논문은 OFUL, 톰슨 샘플링, OLS 밴딧과 같은 주요 알고리즘의 통합과 최적 속도 증명을 가능하게 하는 스토하스틱 선형 밴딧에 대한 일반적 프레임워크를 제안한다. 이는 불확실성 복잡도와 기대값에 대한 낙관주의를 조합한 새로운 최적 속도 알고리즘인 Sieved-Greedy(SG)를 제안하며, 실험적으로 기존 방법들을 크게 능가한다.

ABSTRACT

In this paper, we study the well-known stochastic linear bandit problem where a decision-maker sequentially chooses among a set of given actions in $\mathbb{R}^d$, observes their noisy linear reward, and aims to maximize her cumulative expected reward over a horizon of length $T$. We first introduce a general family of algorithms for the problem and prove that they achieve the best-known performance (aka, are rate optimal). Our second contribution is to show that several well-known algorithms for the problem such as optimism in the face of uncertainty linear bandit (OFUL), Thompson sampling (TS), and OLS Bandit (a variant $\epsilon$-greedy) are special cases of our family of algorithms. Therefore, we obtain a unified proof of rate optimality for all of these algorithms, for both Bayesian and frequentist settings. Our new unified technique also yields a number of new results such as obtaining poly-logarithmic (in $T$) regret bounds for OFUL and TS, under a generalized gap assumption and a margin condition as in Goldenshluger and Zeevi (2013). A key component of our analysis technique is the introduction of a new notion of uncertainty complexity that directly captures the complexity of uncertainty in the action sets that we show is connected to regret analysis of any policy. Our third and most important contribution, from both theoretical and practical points of view, is the introduction of a new rate-optimal algorithm called Sieved-Greedy (SG) by combining insights from uncertainty complexity and a new (and general) notion of optimism in expectation. Specifically, SG works by filtering out the actions with relatively low uncertainty and then chooses one among the remaining actions greedily. Our empirical simulations show that SG significantly outperforms existing benchmarks by combining the best attributes of both greedy and OFUL algorithms.

연구 동기 및 목표

• 스토하스틱 선형 밴딧에서 속도 최적의 리그레트 성능을 달성하는 일반적 알고리즘 가족을 개발하는 것.
• OFUL, 톰슨 샘플링, OLS 밴딧와 같은 기존 주요 알고리즘들을 단일 이론적 프레임워크 아래 통합하는 것.
• 일반화된 갭 조건과 마진 조건 하에서 다항로그 리그레트 경계를 확립하는 것.
• 불확실성 복잡도와 그로 인한 탐색의 균형을 고려한 새로운 알고리즘인 Sieved-Greedy(SG)를 도입하는 것.
• 불확실성 복잡도를 리그레트 분석과 직접 연결하여 정책 평가를 위한 새로운 이론적 시각을 제공하는 것.

제안 방법

• 새로운 불확실성 복잡도 개념을 기반으로 한 스토하스틱 선형 밴딧에 대한 일반적 알고리즘 가족을 제안한다.
• 어느 정책의 리그레트 분석과도 연결되는 불확실성 복잡도를 이론적으로 연결하는 새로운 프레임워크를 도입한다.
• OFUL, 톰슨 샘플링, OLS 밴딧가 제안된 알고리즘 가족의 특수한 경우임을 입증한다.
• 불확실성 복잡도와 일반적인 기대값에 대한 낙관주의 개념을 조합하여 Sieved-Greedy(SG)를 개발한다.
• 높은 불확실성을 가진 행동을 제거한 후, 남은 집합에서 탐욕적 선택을 적용한다.
• Goldenshluger와 Zeevi(2013)에서 제안한 일반화된 갭 가정과 마진 조건을 사용하여 다항로그 리그레트 경계를 유도한다.

실험 결과

연구 질문

• RQ1 OFUL 및 톰슨 샘플링과 같은 주요 스토하스틱 선형 밴딧 알고리즘의 통합과 속도 최적성 증명을 위한 단일 이론적 프레임워크가 가능할 수 있는가?
• RQ2 불확실성 복잡도는 선형 밴딧 정책의 리그레트를 특성화하는 데 어떤 역할을 하는가?
• RQ3 OFUL 및 톰슨 샘플링에서 다항로그 리그레트를 달성할 수 있는 조건은 무엇인가?
• RQ4 기대값에 대한 낙관주의는 어떻게 정의하고, 불확실성 필터링과 어떻게 조합하여 새로운 뛰어난 알고리즘을 설계할 수 있는가?
• RQ5 탐색과 낙관주의 접근법의 장점을 조합한 새로운 알고리즘을 선형 밴딧에서 구성할 수 있는가?

주요 결과

• 제안된 일반적 알고리즘 가족은 스토하스틱 선형 밴딧에서 속도 최적의 리그레트 성능을 달성한다.
• OFUL, 톰슨 샘플링, OLS 밴딧가 제안된 프레임워크의 특수한 경우로 엄밀히 입증되어, 이들의 속도 최적성 증명이 통합된다.
• 일반화된 갭 가정과 마진 조건 하에서 OFUL 및 톰슨 샘플링에 대해 다항로그 리그레트 경계가 확립된다.
• Sieved-Greedy(SG)는 새로운 속도 최적 알고리즘으로서 실험적 평가에서 기존 벤치마크를 뛰어넘는 성능을 보인다.
• 불확실성 복잡도의 새로운 개념이 리그레트 분석과 직접 연결되어, 정책 평가를 위한 이론적 기반을 제공한다.
• 실험 결과는 SG가 낮은 불확실성 필터링과 탐욕적 선택을 조합함으로써 탐욕적 및 OFUL 기반 방법보다 뚜렷이 뛰어난 성능을 보임을 보여준다.