[논문 리뷰] Nearly Minimax-Optimal Regret for Linearly Parameterized Bandits

Yingkai Li, Yining Wang외 1명|arXiv (Cornell University)|2019. 03. 30.

Advanced Bandit Algorithms Research참고 문헌 37인용 수 62

한 줄 요약

이 논문은 finite action 세트를 갖는 선형 맥락 다중 팔 작용의 거의 최솟값-최대 적합성(regret) 상한을 제시하고, 상한을 더 촘촘히 좁히기 위해 시간 적응형 신뢰수준을 사용하는 SupLinUCB 변형인 가변 신뢰수준(SupLinUCB)을 도입하며, 특정 모드에서 거의 일치하는 하한을 제공한다.

ABSTRACT

We study the linear contextual bandit problem with finite action sets. When the problem dimension is $d$, the time horizon is $T$, and there are $n \leq 2^{d/2}$ candidate actions per time period, we (1) show that the minimax expected regret is $Ω(\sqrt{dT (\log T) (\log n)})$ for every algorithm, and (2) introduce a Variable-Confidence-Level (VCL) SupLinUCB algorithm whose regret matches the lower bound up to iterated logarithmic factors. Our algorithmic result saves two $\sqrt{\log T}$ factors from previous analysis, and our information-theoretical lower bound also improves previous results by one $\sqrt{\log T}$ factor, revealing a regret scaling quite different from classical multi-armed bandits in which no logarithmic $T$ term is present in minimax regret. Our proof techniques include variable confidence levels and a careful analysis of layer sizes of SupLinUCB on the upper bound side, and delicately constructed adversarial sequences showing the tightness of elliptical potential lemmas on the lower bound side.

연구 동기 및 목표

• 무작위/적대적 액션 컨텍스트 하에서 finite action 세트를 갖는 선형 맥락 밴딧의 맥스-최소(Regret) 한계(characterize minimax regret).
• 가장 악의적인 경우의 최댓값-하한을 거의 타이트하게 하는 상한을 달성하는 알고리즘을 개발.
• finite-action 선형 밴딧 설정의 난이도를 보여주기 위한 매칭되는 하한 제시.

제안 방법

• 시간 적응형 신뢰수준을 가지는 SupLinUCB의 변형인 Variable-Confidence-Level (VCL) SupLinUCB를 도입.
• 종속성을 분리하기 위해 시간의 층(layer)으로 분할하고 각 층에서 최소제곱 추정치를 수행한다.
• regret bound의 로그 인자(logarithmic factor)를 줄이기 위해 refined한 분석을 사용하여 전역의 log T 항을 log[T(omega^2/d)]로 대체; 여기서 omega는 이차 형식이다.
• (Proposition 1)을 활용하여 층별 기여를 상한하고 해리된 통계 구조를 활용하여 상한을 도출한다.
• 타깃된 엘립스틱 잠재력 보조정식을 보여주고 적대적 하한구조를 알리기 위해 정교하게 설계된 수열을 구성한다.

실험 결과

연구 질문

• RQ1 무작위/적대적 action contexts 하에서 finite action 세트를 갖는 선형 맥락 밴딧의 맥스-리그레트는 무엇인가?
• RQ2 이 설정에서 분석과 알고리즘 설계를 정교화하여 상한-하한 간의 차이를 좁힐 수 있는가?
• RQ3 가변 신뢰수준 접근법이 SupLinUCB 변형의 regret 분석에서 추가적인 로그 인자를 제거하는가?
• RQ4 선형 매개변수화 밴딧 맥락에서 Elliptical potential lemmas의 기존 분석은 얼마나 촘촘한가?

주요 결과

• 최대-최소(regret)는 poly(log log(nT)) 배에 O(sqrt(d T log T log n))의 상한을 가진다.
• maximin regret은 Omega(sqrt(d T log n log(T/d)))의 하한을 갖는데, n <= 2^{d/2} 및 T >= d (log_2 n)^{1+epsilon}인 모든 epsilon>0에 대해 성립한다.
• n이 그다지 크지 않을 때 상한과 하한이 거의 일치한다.
• 적응적 신뢰수준은 상한에서 log T 의 의존성을 줄여 첫 번째 O(sqrt(log T)) 항을 제거한다.
• 층 크기 분석의 정교화는 층 크기의 지수적 증가를 보여주어 추가적인 O(sqrt(log T)) 항의 제거를 가능하게 한다.
• 하한 구성은 무한한 action 공간으로 확장되며 finite-action 시나리오를 넘어서는 본질적 어려움을 시사한다.