[논문 리뷰] Towards Optimal and Efficient Best Arm Identification in Linear Bandits

Mohammadi Zaki, Avinash Mohan외 1명|arXiv (Cornell University)|2019. 11. 05.

Advanced Bandit Algorithms Research참고 문헌 14인용 수 6

한 줄 요약

이 논문은 기하적 오버랩을 최소화하여 가장 정보량이 많은 암을 선택함으로써, 선형 밴디트에서 최적의 암 식별을 위한 새로운 알고리즘인 GLUCB를 제안한다. 이 알고리즘은 LUCB 알고리즘을 일반화하여 두 암 및 세 암 문제에서 최적의 샘플 복잡도를 달성하며, 각 암 쌍에 대한 비용이 많이 드는 최적화를 피하여 계산 효율성을 확보한다.

ABSTRACT

We give a new algorithm for best arm identification in linearly parameterised bandits in the fixed confidence setting. The algorithm generalises the well-known LUCB algorithm of Kalyanakrishnan et al. (2012) by playing an arm which minimises a suitable notion of geometric overlap of the statistical confidence set for the unknown parameter, and is fully adaptive and computationally efficient as compared to several state-of-the methods. We theoretically analyse the sample complexity of the algorithm for problems with two and three arms, showing optimality in many cases. Numerical results indicate favourable performance over other algorithms with which we compare.

연구 동기 및 목표

• 고정 신뢰도 설정 하에서 선형 밴디트에서 최적의 암 식별에 대한 샘플 및 계산 효율성의 격차를 메운다.
• 이론적 및 실증적 성능에서 기존 방법을 능가하는 완전히 적응형이며 계산 효율적인 알고리즘을 개발한다.
• 파rameter 추정을 위한 신뢰집합의 기하학적 구조를 활용하여 인스턴스 최적의 샘플 복잡도를 달성한다.
• LinGapE(계산 비용이 높음) 및 Y-ElimTil-p(최악의 경우에만 최적)와 같은 이전 방법의 한계를 극복한다.

제안 방법

• 최적의 암에 대한 불확실성을 가장 줄이는 암을 선택하기 위해 기하학적 '최대 오버랩' 원리를 사용하여 LUCB 알고리즘을 선형 밴디트로 일반화한다.
• 과거 관측 기반으로 시간에 따라 변하는 모수 벡터 θ에 대한 신뢰집합을 구성하고, 이러한 집합 간의 오버랩을 최소화하도록 암 선택 전략을 설계한다.
• 신뢰구간 기반의 정지 기준을 도입: 하위최적의 암에 대한 상한 신뢰구간이 최적의 암에 대한 하한 신뢰구간 이하일 때 정지한다.
• 사전에 정해진 스케줄이 아닌, 현재 신뢰집합 기하학에 동적으로 적응하는 데이터 의존적 암 선택 규칙을 도입한다.
• 선형 모델의 구조를 활용하여 관련 관측치로부터 회귀 유사 추론을 통해 플레이되지 않은 암의 보상을 추론한다.
• LinGapE와 달리 라운드당 O(K²) 최적화 문제를 피하고, 암 선택을 위한 닫힌 형태의 표현식을 사용함으로써 계산 효율성을 확보한다.

실험 결과

연구 질문

• RQ1 완전히 적응형이며 계산 효율적인 알고리즘이 선형 최적의 암 식별에서 인스턴스 최적의 샘플 복잡도를 달성할 수 있는가?
• RQ2 신뢰집합 내 기하적 오버랩은 선형 밴디트에서 최적의 암 선택에 어떻게 기여하는가?
• RQ3 제안된 알고리즘의 이론적 샘플 복잡도는 두 암 및 세 암 선형 밴디트 문제에 대해 어떻게 되는가?
• RQ4 샘플 효율성과 계산 비용 측면에서 최신 기술과 비교해 볼 때 알고리즘의 성능은 어떠한가?
• RQ5 암들이 낮은 차원의 부분공간에 정렬되어 있을 경우와 같은 특정 구조적 설정에서 알고리즘이 최적임을 입증할 수 있는가?

주요 결과

• GLUCB는 고정 신뢰도 설정 하에서 두 암 및 세 암 선형 밴디트 문제에 대해 최적의 샘플 복잡도를 달성하며, 정지 시간에 대한 이론적 보장을 제공한다.
• 암들 사이의 각도 ω가 작을 경우 샘플 복잡도는 O(Δ⁻²_min / sin²(ω))로 스케일링되며, 이는 인스턴스별 최적성의 증거이다.
• 정체 상태 행동에서 GLUCB는 샘플 수 n₁과 n₂ 사이의 동적 균형에 따라 암 1과 암 3을 번갈아가며 선택함으로써 수렴을 보장한다.
• 수치 결과는 GLUCB가 LinGapE 및 기타 베이스라인보다 샘플 효율성과 계산 속도에서 뛰어나며, 특히 고차원 설정에서 두각을 나타낸다.
• LinGapE의 O(K²) 최적화 오버헤드를 피하기 위해 기하 기준을 사용함으로써, 알고리즘은 큰 K에 대해서도 확장 가능하다.