[논문 리뷰] Optimal Best-arm Identification in Linear Bandits

Yassir Jedra, Alexandre Proutière|arXiv (Cornell University)|2020. 06. 29.

Advanced Bandit Algorithms Research참고 문헌 24인용 수 19

한 줄 요약

이 논문은 유한하고 연속적인 암을 가진 스토하스틱 선형 밴디트에서 최적의 암 식별을 위한 새로운 확장 가능한 최적 알고리즘을 제안하며, 점점 더 최적에 가까워지는 샘플 복잡도를 달성한다. 이 방법은 최적의 드로우 비율을 추적하는 데에 사용되는 게으른 암 샘플링 규칙과 암의 수에 의존하지 않는 멈춤 규칙을 사용하는 트랙-앤드-스톱 원리를 활용하며, 알려진 정보 이론적 하한선에 거의 확실히 및 기대값 기준으로 거의 일치한다.

ABSTRACT

We study the problem of best-arm identification with fixed confidence in stochastic linear bandits. The objective is to identify the best arm with a given level of certainty while minimizing the sampling budget. We devise a simple algorithm whose sampling complexity matches known instance-specific lower bounds, asymptotically almost surely and in expectation. The algorithm relies on an arm sampling rule that tracks an optimal proportion of arm draws, and that remarkably can be updated as rarely as we wish, without compromising its theoretical guarantees. Moreover, unlike existing best-arm identification strategies, our algorithm uses a stopping rule that does not depend on the number of arms. Experimental results suggest that our algorithm significantly outperforms existing algorithms. The paper further provides a first analysis of the best-arm identification problem in linear bandits with a continuous set of arms.

연구 동기 및 목표

• 유한한 암을 가진 선형 밴디트에서 최적의 암 식별을 위한 단순하고 확장 가능하며 점점 더 최적에 가까워지는 알고리즘의 부족을 해결하기 위해.
• 기대 샘플 복잡도에 대한 기존 알고리즘과 인스턴스별 정보 이론적 하한선 사이의 격차를 메우기 위해.
• 멈춤 규칙이나 샘플링 규칙에서 암의 수에 의존하지 않는 방법을 개발하여 확장성 향상시키기 위해.
• 특히 단위 구면을 대상으로 연속적인 암의 경우로 분석을 확장하고 샘플 복잡도 하한선을 유도하기 위해.
• 유도된 하한선의 순서대로 일치하는 샘플 복잡도를 가지는 연속적인 암을 위한 알고리즘을 제안하기 위해.

제안 방법

• 알고리즘은 샘플링 규칙이 최소 제곱 추정치를 기반으로 각 암에 대한 최적 드로우 비율을 동적으로 추적하는 트랙-앤드-스톱 전략을 사용한다.
• 최적 드로우 비율은 인스턴스별 샘플 복잡도 하한선에서 유도되며 드물게 갱신되며, 이는 점점 더 최적에 가까워지는 성능을 유지하면서도 '게으른' 구현이 가능하게 한다.
• 멈춤 규칙은 일반화된 우도 비율 검정을 사용하며, 암의 수에 의존하지 않는 새로운 탐색 임계값을 적용한다.
• 연속적인 암의 경우, 알고리즘은 단위 구면을 대상으로 설계되었으며, 멈춤 조건은 $(\epsilon,\delta)$-PAC 보장을 보장하도록 구성된다.
• 집중 부등식과 강제 탐색을 활용하여 거의 확실성 및 기대값 기반 분석을 통해 이론적 보장을 확립한다.
• 추적 규칙의 갱신 빈도를 조정함으로써 알고리즘의 계산 복잡도를 조절할 수 있으며, 이는 이론적 최적성 유지에 기여한다.

실험 결과

연구 질문

• RQ1 선형 밴디트에서 최적의 암 식별 알고리즘이 샘플 복잡도에 대한 정보 이론적 하한선을 달성하면서도 단순하고 확장 가능할 수 있는가?
• RQ2 암의 수에 의존하지 않는 멈춤 규칙이 존재하는가? 그러한 규칙은 여전히 최적의 암 식별에서 점점 더 최적에 가까워지는 성능을 보장하는가?
• RQ3 연속적인 암 집합을 가진 선형 밴디트에서 최적의 암 식별에 대한 인스턴스별 샘플 복잡도 하한선은 무엇인가?
• RQ4 연속적인 선형 밴디트를 위한 알고리즘을 설계할 수 있는가? 그러한 알고리즘의 샘플 복잡도는 유도된 하한선의 순서로 일치하는가?
• RQ5 최적 드로우 비율 추적 규칙의 갱신 빈도는 알고리즘의 이론적 보장과 계산 비용에 어떤 영향을 미치는가?

주요 결과

• 제안된 알고리즘은 샘플 복잡도에서 점점 더 최적에 가까워지며, 알려진 인스턴스별 하한선에 거의 확실히 일치한다.
• 알고리즘의 기대 샘플 복잡도는 $\frac{d\sigma^2}{\varepsilon\|\mu\|}\log(1/\delta)$로 유한하며, 하한선의 순서로 일치한다.
• 멈춤 규칙은 암의 수에 의존하지 않아, 큰 또는 무한한 암 집합에 대한 확장성 보장이 가능하다.
• 추적 규칙은 원하는 만큼 드물게 갱신해도 점점 더 최적에 가까워지는 성능에 영향을 주지 않으며, 이는 계산 비용 조절이 가능하게 한다.
• 단위 구면에서 연속적인 암의 경우, 샘플 복잡도 하한선의 순서가 $\frac{d}{\varepsilon}\log(1/\delta)$로 확립된다.
• 이 하한선의 순서로 일치하는 샘플 복잡도를 가지는 연속적인 암을 위한 알고리즘을 제안한다.