[논문 리뷰] Randomized Exploration in Generalized Linear Bandits

Branislav Kveton, Manzil Zaheer외 4명|arXiv (Cornell University)|2019. 06. 21.

Advanced Bandit Algorithms Research참고 문헌 32인용 수 11

한 줄 요약

이 논문은 일반선형 밴디트에 대한 두 가지 랜덤화 탐색 알고리즘을 제안한다: GLM-TSL는 사후분포의 라플라스 근사에서 샘플링하고, GLM-FPL은 과거 보상에 편향을 주어 모델을 피팅한다. 양자 모두 $ ilde{O}(dackepsilon{nackepsilon{K}})$의 리그레트 한계를 달성하며, GLM-TSL의 경우 이전 연구보다 향상되었고, 비선형 모델에서 가우시안 노이즈 편향에 대한 첫 번째 이러한 한계를 제공한다.

ABSTRACT

We study two randomized algorithms for generalized linear bandits. The first, GLM-TSL, samples a generalized linear model (GLM) from the Laplace approximation to the posterior distribution. The second, GLM-FPL, fits a GLM to a randomly perturbed history of past rewards. We analyze both algorithms and derive $ ilde{O}(d \sqrt{n \log K})$ upper bounds on their $n$-round regret, where $d$ is the number of features and $K$ is the number of arms. The former improves on prior work while the latter is the first for Gaussian noise perturbations in non-linear models. We empirically evaluate both GLM-TSL and GLM-FPL in logistic bandits, and apply GLM-FPL to neural network bandits. Our work showcases the role of randomization, beyond posterior sampling, in exploration.

연구 동기 및 목표

• 기존의 상위 신뢰도 기반 방법을 넘어서 일반선형 밴디트에 대한 랜덤화 탐색 알고리즘을 개발하고 분석하는 것.
• 라플라스 근사를 활용하여 GLM 밴디트에서 토머슨 샘플링 변종의 리그레트 한계를 향상시키는 것.
• 신경망과 같은 복잡한 모델로 일반화되는 새로운 편향 기반 탐색 방법(GLM-FPL)을 도입하는 것.
• 특징 희소성 가정 하에 비선형 GLM 밴디트에서 가우시안 노이즈 편향에 대한 첫 번째 빈도주의 리그레트 보장을 제공하는 것.
• 로지스틱 밴디트에서 알고리즘을 실증적으로 검증하고 신경망 보상 모델의 확장성을 입증하는 것.

제안 방법

• GLM-TSL는 모델 매개변수에 대한 사후분포의 라플라스 근사에서 일반선형 모델을 샘플링한다.
• GLM-FPL은 과거 보상 기록에 독립적인 가우시안 노이즈를 추가하고, 편향된 데이터에 대해 GLM을 피팅하여 탐색을 이끌어낸다.
• 각 라운드에서 탐색과 이용의 균형을 이루기 위해 랜덤화 최대우도 추정을 사용한다.
• 리그레트 분석은 추정 오차를 통제하기 위해 농도 부등식과 피셔 정보 행렬의 고유값 경계에 기반한다.
• 이론적 분석은 고정된 유한한 특징 벡터를 가정하고, Agrawal과 Goyal(2013b)의 증명 기법을 수정한 버전을 사용하여 고확률 리그레트 한계를 유도한다.
• 실증 평가는 성능과 확장성을 평가하기 위해 로지스틱 밴디트와 신경망 밴디트를 사용한다.

실험 결과

연구 질문

• RQ1 GLM 밴디트에서 사후 샘플링을 통한 랜덤화 탐색이 기존의 UCB 기반 방법보다 더 날카운 리그레트 한계를 달성할 수 있는가?
• RQ2 과거 보상 기록에 가우시안 노이즈를 편향함으로써 비선형 모델에서 효과적인 탐색이 이루어지고 이론적 보장이 가능한가?
• RQ3 GLM-FPL 알고리즘이 딥 네이처럴 네트워크와 같은 복잡한 모델로 확장될 수 있으며, 강력한 성능을 유지할 수 있는가?
• RQ4 GLM-TSL의 리그레트는 차원 $d$와 암수 $K$에 대한 의존성 측면에서 이전 연구와 비교해 어떻게 되는가?
• RQ5 비선형성과 고차원 특징 공간이 존재하는 조건에서 GLM-FPL 알고리즘이 낮은 리그레트를 유지할 수 있는 조건은 무엇인가?

주요 결과

• GLM-TSL는 $\tilde{O}(d\backepsilon{n\backepsilon{K}})$의 리그레트 한계를 달성하며, 유한한 암수 설정에서 이전 최고의 한계보다 $\sqrt{d/\log K}$ 요소만큼 향상되었다.
• GLM-FPL의 리그레트 한계는 각 특징 벡터가 최대 한 개의 비영성분만 갖는 가정 하에 비선형 GLM 밴디트에서 가우시안 노이즈 편향에 대한 첫 번째 한계이다.
• 실증 결과는 GLM-TSL와 GLM-FPL가 모두 로지스틱 밴디트 환경에서 최첨단 성능을 달성함을 보여준다.
• GLM-FPL는 신경망 밴디트로 간편하게 일반화되며, 고차원 분류 과제에서 강력한 실증 성능을 보여준다.
• GLM-FPL의 편향 메커니즘은 사후 샘플링이 비가역적인 복잡한 모델에서 효과적인 탐색을 가능하게 한다.
• 이론적 분석은 리그레트가 시간과 차원에 대해 하위선형으로 증가함을 확인하여, 단순 선형 모델을 넘어서 랜덤화 탐색을 사용할 수 있음을 뒷받침한다.