[논문 리뷰] Problem-Complexity Adaptive Model Selection for Stochastic Linear Bandits

Avishek Ghosh, Abishek Sankararaman외 1명|arXiv (Cornell University)|2020. 06. 03.

Advanced Bandit Algorithms Research인용 수 9

한 줄 요약

이 논문은 진정한 문제 복잡도(예: $\|\theta^*\|$ 또는 $d^*$)에 대한 사전 지식 없이도 모델을 적응적으로 선택하는 새로운 단계 기반 알고리즘인 적응형 선형 밴디트(Adaptive Linear Bandit, ALB)를 제안한다. ALB는 $\widetilde{O}(\|\theta^*\|\sqrt{T})$ 및 $\widetilde{O}(d^*\sqrt{T})$의 리그레트 스케일링을 달성하여 진정한 복잡도를 알고 있는 오라클의 성능을 재현하며, 이는 두 설정 모두에서 그러한 모델 선택 보장을 달성한 최초의 알고리즘이다.

ABSTRACT

We consider the problem of model selection for two popular stochastic linear bandit settings, and propose algorithms that adapts to the unknown problem complexity. In the first setting, we consider the $K$ armed mixture bandits, where the mean reward of arm $i \\in [K]$, is $\\mu_i+ \\langle \\alpha_{i,t},\ heta^* \ angle $, with $\\alpha_{i,t} \\in \\mathbb{R}^d$ being the known context vector and $\\mu_i \\in [-1,1]$ and $\ heta^*$ are unknown parameters. We define $\\|\ heta^*\\|$ as the problem complexity and consider a sequence of nested hypothesis classes, each positing a different upper bound on $\\|\ heta^*\\|$. Exploiting this, we propose Adaptive Linear Bandit (ALB), a novel phase based algorithm that adapts to the true problem complexity, $\\|\ heta^*\\|$. We show that ALB achieves regret scaling of $O(\\|\ heta^*\\|\\sqrt{T})$, where $\\|\ heta^*\\|$ is apriori unknown. As a corollary, when $\ heta^*=0$, ALB recovers the minimax regret for the simple bandit algorithm without such knowledge of $\ heta^*$. ALB is the first algorithm that uses parameter norm as model section criteria for linear bandits. Prior state of art algorithms \\cite{osom} achieve a regret of $O(L\\sqrt{T})$, where $L$ is the upper bound on $\\|\ heta^*\\|$, fed as an input to the problem. In the second setting, we consider the standard linear bandit problem (with possibly an infinite number of arms) where the sparsity of $\ heta^*$, denoted by $d^* \\leq d$, is unknown to the algorithm. Defining $d^*$ as the problem complexity, we show that ALB achieves $O(d^*\\sqrt{T})$ regret, matching that of an oracle who knew the true sparsity level. This methodology is then extended to the case of finitely many arms and similar results are proven. This is the first algorithm that achieves such model selection guarantees. We further verify our results via synthetic and real-data experiments.

연구 동기 및 목표

• 진정한 문제 복잡도(예: $\|\theta^*\|$ 또는 $d^*$)를 사전에 알 수 없는 스 tochastic 선형 밴디트 문제에서의 모델 선택 문제를 해결하기 위해.
• 진정한 모델를 포함하는 가장 작은 가설 클래스에 적응하는 알고리즘을 설계하여, 리그레트 스케일링을 진정한 복잡도에 따라 조정하고 상한 값이 아닌 실제 복잡도에 따라 조정하기 위해.
• 유한 또는 무한의 액션을 가진 선형 밴디트 설정에서 노름 기반 및 희박성 기반 복잡도 측정 기준에 모두 적응형 모델 선택을 확장하기 위해.
• 합성 및 실데이터 실험을 통해 제안된 알고리즘이 누적 리그레트 측면에서 비적응형 기준보다 1.5~3배 우수함을 입증하기 위해.

제안 방법

• 진정한 $\|\theta^*\|$의 추정치를 단계적으로 개선하여 점차 증가하는 노름 상한을 가진 가설 클래스의 순서를 사용하는 단계 기반 알고리즘인 ALB-Norm을 제안한다.
• 진정한 $\|\theta^*\|$의 상한에 따라 인덱싱된 중첩된 가설 클래스의 시퀀스를 사용하며, 알고리즘이 데이터에 가장 잘 맞는 가장 작은 클래스를 동적으로 선택한다.
• 희박성 기반 모델 선택을 위한 ALB-Dim을 도입하여, 반복 단계를 통해 $\theta^*$의 지지 집합 크기 $d^*$의 추정치를 개선한다.
• 신뢰 구간과 단계별 탐색을 사용하여 파라미터 추정치를 개선하고 리그레트를 감소시키며, 각 단계에서 복잡도 추정치를 개선한다.
• 임계값 설정과 부분공간 추정을 통해 진정한 희박성 수준 $d^*$를 식별하기 위해 차원 정밀도를 향상시킨다.
• 이중 단계 학습 과정을 적용한다: 초기 탐색을 통해 복잡도를 추정한 후, 선택된 가설 클래스에서 정밀한 학습을 수행한다.

실험 결과

연구 질문

• RQ1 진정한 $\|\theta^*\|$의 값에 대한 사전 지식 없이도 그 값에 선형적으로 비례하는 리그레트 스케일링을 달성할 수 있는가?
• RQ2 선형 밴디트에서 $\theta^*$의 희박성 $d^*$에 기반한 모델 선택이, 진정한 $d^*$를 알고 있는 오라클의 리그레트 성능을 재현할 수 있는가?
• RQ3 실제로 비적응형 알고리즘에 비해 적응형 복잡도 추정이 성능 향상에 기여하는가?
• RQ4 모든 $\theta^*$에 대해 균일하게 유효한 리그레트 경계를 달성하면서도 오라클 성능을 재현할 수 있는가?

주요 결과

• ALB-Norm는 $\widetilde{O}(\|\theta^*\|\sqrt{T})$의 리그레트를 달성하며, $\theta^* = 0$일 경우 단순 밴디트의 최소 최악의 리그레트와 동일한 성능을 보이며, 이 사실에 대한 사전 지식 없이도 성립한다.
• ALB-Dim은 무한 액션 선형 밴디트 설정에서 $\widetilde{O}(d^*\sqrt{T})$의 리그레트를 달성하여, 진정한 희박성 $d^*$를 알고 있는 오라클의 성능을 재현한다.
• 합성 실험에서 ALB-Norm는 비적응형 OFUL+ 대비 누적 리그레트를 1.5~3배 감소시키며, 빠르게 진정한 $\|\theta^*\|$ 추정치에 수렴하였다.
• Yahoo Learning to Rank 데이터셋을 이용한 실데이터 실험에서 ALB-Norm는 초기 추정치 25에서 시작해 6개의 에포크 내에 $\|\theta^*\|$ 추정치를 11.1로 안정화시켰다.
• 합성 환경에서 알고리즘은 5개 이내의 에포크 안에 진정한 희박성 $d^*$를 성공적으로 식별하였으며, 효과적인 차원 정밀도를 보였다.
• 성능 향상은 이론적 경계의 산물이 아니며, 합성 및 실세계 평가를 통해 확인된 근본적인 성능 향상이다.