[논문 리뷰] Tight Regret Bounds for Infinite-armed Linear Contextual Bandits

Yingkai Li, Yining Wang외 2명|arXiv (Cornell University)|2019. 05. 04.

Advanced Bandit Algorithms Research참고 문헌 10인용 수 8

한 줄 요약

이 논문은 무한 개의 액션을 가진 선형 컨텍스추얼 밴딧에 대해 새로운 변동 신뢰 수준 상한 밴딧(Variable Confidence Level Upper Confidence Bound, VCL-UCB) 알고리즘을 제안하며, $O(\sqrt{d^2 T \log T}) \times \mathrm{poly}(\log\log T)$의 리그레트 상한을 달성한다. 이는 기존 $\Omega(\sqrt{d^2 T \log T})$의 하한과 반복 로그 인자까지 일치하므로, 이 설정에서 최소 최대 리그레트 상한의 격차를 완전히 해소한다.

ABSTRACT

Linear contextual bandit is an important class of sequential decision making problems with a wide range of applications to recommender systems, online advertising, healthcare, and many other machine learning related tasks. While there is a lot of prior research, tight regret bounds of linear contextual bandit with infinite action sets remain open. In this paper, we address this open problem by considering the linear contextual bandit with (changing) infinite action sets. We prove a regret upper bound on the order of $O(\sqrt{d^2T\log T}) imes ext{poly}(\log\log T)$ where $d$ is the domain dimension and $T$ is the time horizon. Our upper bound matches the previous lower bound of $Ω(\sqrt{d^2 T\log T})$ in [Li et al., 2019] up to iterated logarithmic terms.

연구 동기 및 목표

• 무한한 액션 집합을 가진 선형 컨텍스추얼 밴딧에 대해 날카운 리그레트 상한을 확립하는 열린 문제를 해결한다.
• 모든 $t$에 대해 $|D_t| = \infty$ 인 최악의 경우 설정에서 최소 최대 최적 리그레트를 달성하는 알고리즘을 개발한다.
• 무한한 액션 집합의 경우 기존 상한과 $\Omega(\sqrt{d^2 T \log T})$ 하한 사이의 격차를 해소한다.
• 무한한 액션 집합에서 커버링 넷 근사에 기인한 추가 $\log T$ 요인을 유발하는 이전 방법의 한계를 극복한다.
• 반복 로그 항까지 일치하는 새로운 리그레트 상한을 확립한다.

제안 방법

• 시간과 추정 불확실성에 기반해 신뢰 수준을 동적으로 조정하는 VCL-UCB 알고리즘을 제안한다.
• 고차원적이고 종속적인 설정에서 추정 오차를 제어하기 위해 자기 정규화된 경험 과정에 대한 날카운 尾確率 경계를 사용한다.
• 일般적으로 $\log T$ 요인을 유발하는 유니언 바운드의 비용을 피하기 위해 기대값 기반 리그레트 분석을 도입한다.
• 시간에 걸쳐 역 공분산 가중치가 부여된 액션 노름의 합을 제한하기 위해 타원형 잠재력 보조정리를 활용한다.
• $\alpha^i_{\zeta,t}$를 사용하여 탐색과 이용의 균형을 이루는 재귀적 신뢰 구간 정밀화 메커니즘을 설계한다.
• 형태 $\sqrt{\tau \log(\tau)}$의 오목 함수에 대해 젠센의 부등식을 적용하여 누적 리그레트에 대한 더 날카운 경계를 유도한다.

실험 결과

연구 질문

• RQ1 무한 개의 액션을 가진 선형 컨텍스추얼 밴딧에서 $\Omega(\sqrt{d^2 T \log T})$ 하한과 일치하는 리그레트 상한을 달성할 수 있는가?
• RQ2 이전 연구에서 도출된 $O(\sqrt{d^2 T \log^2 T})$ 상한을 $\Omega(\sqrt{d^2 T \log T})$ 하한과 일치하도록 향상시킬 수 있는가?
• RQ3 고차원적이고 무한한 액션 집합 설정에서 유니언 바운드에 기인한 $\log T$ 패널티를 피할 수 있는가?
• RQ4 자기 정규화된 과정에 대한 날카운 尾確率 경계를 활용하여 종속적이고 적응적인 샘플링 상황에서 더 날카운 리그레트 제어를 달성할 수 있는가?
• RQ5 시간에 따라 변하는 신뢰 수준을 가진 VCL-UCB 전략이 무한한 액션 집합에서 커버링 넷이 필요 없도록 할 수 있는가?

주요 결과

• 제안된 VCL-UCB 알고리즘은 최악의 경우 기대 리그레트를 $O(\sqrt{d^2 T \log T}) \times \mathrm{poly}(\log\log T)$로 달성한다.
• 이 상한은 기존 $\Omega(\sqrt{d^2 T \log T})$ 하한과 반복 로그 인자까지 일치하므로, 무한한 액션 집합 설정에서의 리그레트 상한 격차를 완전히 해소한다.
• 표준 유니언 바운드 비용을 피하기 위해 기대값 기반 리그레트 분해를 사용함으로써 추가 $\log T$ 요인이 제거된다.
• 이 방법은 자기 정규화된 과정에 대한 날카운 尾確率 경계와 타원형 잠재력 보조정리의 정교한 응용에 의존한다.
• VCL-UCB 프레임워크는 최소 리그레트로 고차원적이고 무한한 액션을 가진 컨텍스추얼 밴딧을 다루는 데 새로운 기술적 기반을 제공한다.
• 결과적으로 이전 상한과 하한 사이의 $O(\sqrt{\log T})$ 격차가 무한한 액션 집합의 경우 해결됨을 보여준다.