[논문 리뷰] Explicit Best Arm Identification in Linear Bandits Using No-Regret Learners

Mohammadi Zaki, Avinash Mohan외 1명|arXiv (Cornell University)|2020. 06. 13.

Advanced Bandit Algorithms Research참고 문헌 15인용 수 8

한 줄 요약

이 논문은 최소한의 손실 학습기를 사용하여 선형 밴디트에서 최적의 암을 식별하기 위한 명시적이고 증명 가능하게 최적인 알고리즘인 PELEG을 제안한다. 문제를 두 명의 플레이어가 참여하는 제로섬 게임으로 재구성하고, 온라인 학습을 통해 반복적으로 경합점에 수렴함으로써, 최소화된 최대값 오라클에 의존하지 않고 순서 최적의 샘플 복잡도를 달성하며, 이는 상수 요소를 제외한 이론적 하한선과 일치한다.

ABSTRACT

We study the problem of best arm identification in linearly parameterised multi-armed bandits. Given a set of feature vectors $\mathcal{X}\subset\mathbb{R}^d,$ a confidence parameter $δ$ and an unknown vector $θ^*,$ the goal is to identify $\arg\max_{x\in\mathcal{X}}x^Tθ^*$, with probability at least $1-δ,$ using noisy measurements of the form $x^Tθ^*.$ For this fixed confidence ($δ$-PAC) setting, we propose an explicitly implementable and provably order-optimal sample-complexity algorithm to solve this problem. Previous approaches rely on access to minimax optimization oracles. The algorithm, which we call the extit{Phased Elimination Linear Exploration Game} (PELEG), maintains a high-probability confidence ellipsoid containing $θ^*$ in each round and uses it to eliminate suboptimal arms in phases. PELEG achieves fast shrinkage of this confidence ellipsoid along the most confusing (i.e., close to, but not optimal) directions by interpreting the problem as a two player zero-sum game, and sequentially converging to its saddle point using low-regret learners to compute players' strategies in each round. We analyze the sample complexity of PELEG and show that it matches, up to order, an instance-dependent lower bound on sample complexity in the linear bandit setting. We also provide numerical results for the proposed algorithm consistent with its theoretical guarantees.

연구 동기 및 목표

• 최적의 샘플 복잡도를 가지며 명시적이고 구현 가능한 알고리즘을 설계하기 위해 선형 밴디트에서 최적의 암 식별을 수행한다.
• 실제로 계산이 모호한 최소화된 최대값 최적화 오라클에 의존하지 않도록 제거한다.
• 기존의 정보 이론적 하한선과 일치하는 인스턴스 최적의 샘플 복잡도를 달성한다.
• 제안된 알고리즘의 명확한 계산 비용 분석을 제공한다.
• 비정형 밴디트에서의 게임 이론적 방법을 구조화된 선형 밴디트 설정으로 확장한다.

제안 방법

• 샘플 복잡도 하한선의 핵심 최소화된 최대값 최적화 문제를 두 명의 플레이어가 참여하는 제로섬 게임으로 해석한다.
• 최소한의 손실 온라인 학습 서브루틴을 사용하여 게임의 경합점을 근사함으로써 직접적인 최소화된 최대값 계산을 피한다.
• 각 라운드에서 진짜 매개변수 $\theta^*$를 포함하는 신뢰 타원체를 유지하고 갱신한다.
• 신뢰 집합이 수축하고 게임 이론적 방향 선택 기반으로 비최적의 암들이 단계별로 제거된다.
• 단계 길이는 손실 최소화 전략과 신뢰 구간을 사용해 적응적으로 결정된다.
• 정지 기준은 구의 교차를 피함으로써 단계 종료를 위한 닫힌 형태의 계산을 가능하게 한다.

실험 결과

연구 질문

• RQ1 선형 밴디트에서 최적의 암 식별은 이론적 샘플 복잡도 하한선과 일치하는 명시적이고 구현 가능한 알고리즘으로 해결될 수 있는가?
• RQ2 최소화된 최대값 오라클을 최소한의 손실 학습 서브루틴으로 대체할 수 있으며, 이로 인해 최적성이 유지되는가?
• RQ3 최소화된 최대값 문제의 게임 이론적 해석을 어떻게 활용하여 적응형 샘플링 전략을 설계할 수 있는가?
• RQ4 제안된 알고리즘의 정확한 샘플 복잡도는 무엇이며, 기존의 인스턴스에 의존하는 하한선과 일치하는가?
• RQ5 알고리즘의 계산 비용은 명확하게 정량화되고 실용적으로 만들 수 있는가?

주요 결과

• PELEG은 순서 최적의 샘플 복잡도를 달성하며, 상수 요소를 제외한 인스턴스에 의존하는 하한선과 일치한다.
• 알고리즘의 샘플 복잡도는 $\tau \leq \left(2048\frac{\log_{2}(1/\Delta_{\text{min}})}{D_{\theta^{*}}}\left[\frac{(\log((\log_{2}(1/\Delta_{\text{min}}})^2K^2/\delta))^2\log K}{(\sqrt{2}-1)^2C^2}\right]\right) + \left(256\frac{\log_{2}(1/\Delta_{\text{min}})}{D_{\theta^{*}}}\log((\log_{2}(1/\Delta_{\text{min}}})^2K^2/\delta)\right)$ 로 유계이다.
• 기존의 연구와 달리, 고정밀도 최소화된 최대값 문제의 해법이나 정수 할당의 반올림이 필요로 하지 않는다.
• 수치적 결과는 PELEG의 샘플 복잡도가 이론적 예측과 일치함을 확인한다.
• 최소한의 손실 학습기를 사용함으로써 오라클 접근 없이 실용적이고 적응형 샘플링 전략을 구현할 수 있다.
• 이 방법은 비정형 밴디트에서의 게임 이론적 접근을 구조화된 선형 밴디트 문제로 성공적으로 확장한다.