[논문 리뷰] An Efficient Algorithm For Generalized Linear Bandit: Online Stochastic Gradient Descent and Thompson Sampling

Qin Ding, Cho‐Jui Hsieh외 1명|arXiv (Cornell University)|2020. 06. 07.

Advanced Bandit Algorithms Research참고 문헌 31인용 수 8

한 줄 요약

이 논문은 일반화선형 밴디트(Genearalized Linear Bandits)를 위한 효율적인 알고리즘인 SGD-TS를 제안한다. 이 알고리즘은 온라인 확률적 경사하강법(SGD)과 톰슨 샘플링(Thompson Sampling)을 결합하여 $×sim O(\sqrt{T})$의 오차를 달성하면서도 선형 시간 복잡도 $O(Td)$를 갖는다. 톰슨 샘플링을 통해 탐색을 재조정하고 행렬 역행렬 계산을 피함으로써, 일정한 라운드당 시간 및 메모리 복잡도를 확보하면서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We consider the contextual bandit problem, where a player sequentially makes decisions based on past observations to maximize the cumulative reward. Although many algorithms have been proposed for contextual bandit, most of them rely on finding the maximum likelihood estimator at each iteration, which requires $O(t)$ time at the $t$-th iteration and are memory inefficient. A natural way to resolve this problem is to apply online stochastic gradient descent (SGD) so that the per-step time and memory complexity can be reduced to constant with respect to $t$, but a contextual bandit policy based on online SGD updates that balances exploration and exploitation has remained elusive. In this work, we show that online SGD can be applied to the generalized linear bandit problem. The proposed SGD-TS algorithm, which uses a single-step SGD update to exploit past information and uses Thompson Sampling for exploration, achieves $ ilde{O}(\sqrt{T})$ regret with the total time complexity that scales linearly in $T$ and $d$, where $T$ is the total number of rounds and $d$ is the number of features. Experimental results show that SGD-TS consistently outperforms existing algorithms on both synthetic and real datasets.

연구 동기 및 목표

• 각 라운드에서 반복적인 행렬 역행렬 계산과 최대우도추정(MLE)으로 인해 $O(T)$의 메모리와 $O(T^2)$의 시간 복잡도를 요구하는 기존 일반화선형 밴디트(GLB) 알고리즘의 높은 계산 비용을 해결하기 위해.
• 비편향된 기울기 추정과 탐색-이득 균형 문제에 직면한 컨텍스트 밴디트에서 온라인 확률적 경사하강법(SGD)을 이론적으로 보장 가능한 성능으로 성공적으로 적용하기 위해.
• 낮은 오차를 유지하면서도 일정한 라운드당 시간 및 메모리 복잡도를 확보함으로써 실시간 응용에 적합한 방법을 설계하기 위해.
• 제안된 알고리즘이 합성 및 실세계 데이터셋에서 기존 최신 기술 수준의 방법들을 능가하는 것으로 실험적으로 입증하기 위해.

제안 방법

• 각 라운드에서 단일 스텝의 SGD 업데이트를 사용하여 새로운 관측 보상에 기반해 모델 파라미터를 점진적으로 갱신함으로써, 라운드당 시간 및 메모리 복잡도를 $O(1)$로 감소시킨다.
• SGD 추정기의 편향을 MLE와 비교할 때 보완하기 위해 재조정된 사후분포에서 샘플링하는 톰슨 샘플링을 탐색에 통합한다.
• 각 단계에서 $d \times d$ 행렬의 역행렬을 계산하거나 MLE를 풀지 않기 때문에, MLE 계산이나 행렬 역행렬 계산보다 계산 비용이 낮은 온라인 SGD 업데이트를 활용함으로써 명시적 행렬 역행렬 계산을 피한다.
• SGD 업데이트의 비.i.i.d. 성격과 밴디트 설정에서의 부분적 피드백으로 인해 탐색이 부족해질 수 있으므로, 탐색 성분을 재조정하여 충분한 탐색을 보장한다.
• 이론적 분석은 특징 벡터에 대한 '다양성' 조건을 가정하여 시간이 지남에 따라 충분한 정보 획득을 보장한다.
• 실험에서는 로지스틱 밴디트에 알고리즘을 적용하였으며, 클러스터 중심점 또는 클러스터에서 무작위로 추출한 샘플에서 유도된 특징 벡터를 사용한다.

실험 결과

연구 질문

• RQ1 이론적 오차 보장을 갖는 온라인 확률적 경사하강법이 일반화선형 밴디트에 성공적으로 적용될 수 있는가?
• RQ2 SGD 기반 파라미터 업데이트를 밴디트 설정에서 사용할 때, 톰슨 샘플링이 효과적으로 재조정되어 충분한 탐색을 제공할 수 있는가?
• RQ3 각 라운드에서 행렬 역행렬 계산과 MLE 계산을 피할 경우, 오차 성능을 희생시키지 않고 시간 및 메모리 복잡도가 크게 감소하는가?
• RQ4 실세계 및 합성 데이터에서 제안된 알고리즘이 기존 GLB 방법들과 비교해 누적 오차와 최적 액션 선택 빈도 측면에서 어떻게 성능을 내는가?

주요 결과

• 다양성 조건 하에서 SGD-TS는 $\tilde{O}(\sqrt{T})$의 오차 bound를 확보하며, 최신 기술 수준의 GLB 알고리즘과 이론적으로 동일한 성능을 달성한다.
• 알고리즘은 $T$와 $d$에 대해 선형적으로 스케일링되며, 총 시간 복잡도가 $O(Td)$이므로, 지금까지 가장 효율적인 GLB 알고리즘이다.
• 합성 및 실세계 데이터셋, 특히 $d=55$개의 특징을 가진 숲 커버 유형 데이터셋에서, SGD-TS는 누적 오차와 최적 액션 선택 빈도 측면에서 기존 알고리즘을 일관되게 능가한다.
• 시나리오 1(10개의 특징)에서는 SGD-TS가 UCB-GLM, GLM-TSL, GLOC를 능가하며, 후자 세 개는 자주 부분 최적 액션에 갇히는 경향이 있다.
• 시나리오 2(55개의 특징, 동적 특징)에서는 다른 알고리즘들, GLOC를 포함해도 최적 액션을 자주 식별하지 못하는 데 반해, SGD-TS는 여전히 최고의 성능을 보인다.
• 실행 시간 측정 결과, UCB-GLM, GLM-TSL, SupCB-GLM, GLOC와 달리 각 라운드에서 행렬 역행렬 계산과 MLE 계산을 피하기 때문에 SGD-TS는 가장 낮은 계산 비용을 보였다.