[논문 리뷰] Nearly Instance Optimal Sample Complexity Bounds for Top-k Arm Selection

Lijie Chen, Jian Li외 1명|arXiv (Cornell University)|2017. 02. 13.

Advanced Bandit Algorithms Research인용 수 17

한 줄 요약

이 논문은 확률적 다익정거장 밴딧에서 Best-k-Arm 문제를 위한 새로운 제거 기반 알고리즘을 제안하며, 거의 인스턴스 최적의 샘플 복잡도를 달성한다. 이는 Best-1-Arm 문제로부터 비트리비얼한 감소를 통해 새로운 인스턴스별 하한을 확립하고, 알고리즘의 샘플 복잡도가 이 하한과 이중 로그 인자 내에서 일치함을 증명하며, 이는 이전 방법들에 비해 상수 인자까지 엄격히 열등하지 않다.

ABSTRACT

In the Best-$k$-Arm problem, we are given $n$ stochastic bandit arms, each associated with an unknown reward distribution. We are required to identify the $k$ arms with the largest means by taking as few samples as possible. In this paper, we make progress towards a complete characterization of the instance-wise sample complexity bounds for the Best-$k$-Arm problem. On the lower bound side, we obtain a novel complexity term to measure the sample complexity that every Best-$k$-Arm instance requires. This is derived by an interesting and nontrivial reduction from the Best-$1$-Arm problem. We also provide an elimination-based algorithm that matches the instance-wise lower bound within doubly-logarithmic factors. The sample complexity of our algorithm strictly dominates the state-of-the-art for Best-$k$-Arm (module constant factors).

연구 동기 및 목표

• 확률적 밴딧에서 Best-k-Arm 문제의 인스턴스별 샘플 복잡도를 완전히 특성화하는 것.
• Best-k-Arm 문제를 Best-1-Arm 문제로 감소시켜 더 날카운 샘플 복잡도 하한을 확립하는 것.
• 인스턴스별 하한과 이중 로그 인자 내에서 일치하는 제거 기반 알고리즘을 설계하는 것.
• Best-k-Arm 선택의 샘플 복잡도를 기존 최고 수준의 방법들보다 향상시켜, 상수 인자까지 엄격히 열등하지 않게 하는 것.

제안 방법

• 단위 분산 정규 보상이 가정된 경우, Best-1-Arm 문제로부터의 비트리비얼한 감소를 사용하여 새로운 인스턴스별 하한을 유도한다.
• 간격 크기에 기반한 암 그룹화를 도입: $ G^{ extsf{large}}_r $ 와 $ G^{ extsf{small}}_r $, 여기서 간격은 $ (C2^{-r-1}, 2^{-r}] $ 범위에 속한다.
• 상위-k 암들과 나머지 암들을 구분하는 데 중점을 두고, 간격에 의존하는 샘플링 전략을 사용하는 적응적 샘플링을 수행하는 제거 기반 알고리즘을 제안한다.
• 샘플 복잡도를 분석하기 위해 조화 급수 유사 합 $ H = \sum_{i=1}^\infty \varepsilon_i^{-2} (|G^{ extsf{large}}_i| + |G^{ extsf{small}}_i|) $ 를 사용하며, $ \varepsilon_i = 2^{-i} $ 이다.
• $ \widetilde{H}^{\textsf{large}} $ 와 $ \widetilde{H}^{\textsf{small}} $ 에 대한 상한을 확립하여, 이들이 주 복잡도 항과 $ O(\ln \ln n) $ 이내임을 보여준다.
• 대칭성과 로그 부등식을 사용하여 상한과 하한 복잡도 항 간의 비율을 유계로 제한함으로써, 거의 최적성을 증명한다.

실험 결과

연구 질문

• RQ1 확률적 밴딧 가정 하에서 Best-k-Arm 문제의 가장 날카운 인스턴스별 하한은 무엇인가?
• RQ2 실용적인 제거 기반 알고리즘이 이 하한과 하위 로그 인자 내에서 일치하는 샘플 복잡도를 달성할 수 있는가?
• RQ3 상위-k 암과 비상위-k 암 간의 간격 구조에 따라 샘플 복잡도는 어떻게 스케일링되는가?
• RQ4 암들의 입력 순서는 Best-k-Arm 문제의 본질적 어려움을 결정하는 데 어떤 역할을 하는가?
• RQ5 Best-1-Arm 문제에서 Best-k-Arm 문제로의 감소가 후자의 비트리비얼하고 날카운 하한을 도출할 수 있는가?

주요 결과

• 논문은 정규 보상이 가정된 경우, Best-1-Arm 문제로부터의 비트리비얼한 감소를 통해 Best-k-Arm 문제에 대한 새로운 인스턴스별 하한을 확립한다.
• 제안된 제거 기반 알고리즘은 인스턴스별 하한과 이중 로그 인자 내에서 일치하는 샘플 복잡도를 달성하며, 즉 $ O(H \ln \ln n) $ 이다. 여기서 $ H $ 는 주 복잡도 항이다.
• 알고리즘의 샘플 복잡도는 모든 이전 최고 수준의 방법들보다 상수 인자까지 엄격히 열등하지 않다.
• 분석 결과 상한과 하한 복잡도 항 간의 비율이 $ O(\ln \ln n) $ 이내로 유계임을 보여주며, 거의 최적성을 증명한다.
• 논문은 $ \widetilde{H}^{\textsf{large}} + \widetilde{H}^{\textsf{small}} $ 이 $ O(H \ln k) $ 이내로 유계임을 보이며, 이는 로그 인자까지 날카로운 경계임을 입증한다.
• 모든 보상 분포가 상한에서 1-서브가우시안인 가정 하에 결과가 성립하며, 하한에서는 기술적 필요성으로 인해 단위 분산 정규분포를 가정한다.