[논문 리뷰] Finite-Time Analysis of Kernelised Contextual Bandits

Michal Vaľko, Nathan Korda외 3명|arXiv (Cornell University)|2013. 09. 26.

Advanced Bandit Algorithms Research참고 문헌 28인용 수 91

한 줄 요약

이 논문은 재생 커널 힐버트 공간(RKHS)을 통해 행동 맥락 간 유사성을 활용하는 커널화된 상한 신뢰 구간 알고리즘인 KernelUCB를 제안한다. 이는 일반적인 경우에서 GP-UCB보다 향상된 유한 시간 내의 누적 손실 한계를 확립하며, 선형 커널의 경우 하한값과 일치시켜, 큰 행동 공간에서 구조적인 맥락 유사성을 가진 환경에서 효율적인 탐색을 위한 이론적으로 타당한 접근을 제공한다.

ABSTRACT

We tackle the problem of online reward maximisation over a large finite set of actions described by their contexts. We focus on the case when the number of actions is too big to sample all of them even once. However we assume that we have access to the similarities between actions' contexts and that the expected reward is an arbitrary linear function of the contexts' images in the related reproducing kernel Hilbert space (RKHS). We propose KernelUCB, a kernelised UCB algorithm, and give a cumulative regret bound through a frequentist analysis. For contextual bandits, the related algorithm GP-UCB turns out to be a special case of our algorithm, and our finite-time analysis improves the regret bound of GP-UCB for the agnostic case, both in the terms of the kernel-dependent quantity and the RKHS norm of the reward function. Moreover, for the linear kernel, our regret bound matches the lower bound for contextual linear bandits.

연구 동기 및 목표

• 모든 행동을 샘플링하는 것이 불가능한 큰 행동 공간에서의 온라인 보상 최적화 문제를 해결하기 위해.
• 맥락 유사성을 기반으로 보상 함수를 재생 커널 힐버트 공간(RKHS) 내의 임의의 선형 함수로 모델링하기 위해.
• 이 설정에서 탐색과 이용을 효율적으로 균형 잡는 커널화된 UCB 알고리즘을 개발하기 위해.
• 기존 방법들인 GP-UCB와 비교해 일반적인 경우에서 향상된 유한 시간 내의 손실 한계를 제공하기 위해.
• 선형 커널의 경우 알려진 하한값과 일치하는 탐색 가능한 이론적 보장을 제공하기 위해.

제안 방법

• 맥락 유사성을 기반으로 기대 보상을 모델링하기 위해 RKHS 노름을 사용하는 커널화된 UCB 알고리즘인 KernelUCB를 제안한다.
• 알고리즘의 누적 손실 한계를 유도하기 위해 빈도주의 분석을 활용한다.
• 보상 함수가 재생 커널 힐버트 공간(RKHS)에 속해 있다고 모델링하여 비모수 함수 근사가 가능하도록 한다.
• 커널 함수를 사용해 행동 맥락 간의 유사성을 표현함으로써 행동 간 일반화를 가능하게 한다.
• RKHS 노름과 경험적 분산 추정치를 기반으로 한 상한 신뢰 구간을 유도하여 탐색을 이끌어내는 방법을 제시한다.
• 특정 커널을 사용할 경우 GP-UCB가 KernelUCB의 특수 케이스가 되며, 손실 한계의 직접 비교가 가능해진다.

실험 결과

연구 질문

• RQ1 맥락 유사성만을 활용하여 큰 행동 공간을 효율적으로 다룰 수 있는 컨텍스트 밴딧 알고리즘을 설계할 수 있는가?
• RQ2 커널에 의존하는 양과 보상 함수의 RKHS 노름에 비례하여 커널화된 UCB 알고리즘의 손실은 어떻게 변화하는가?
• RQ3 선형 커널을 사용할 경우, KernelUCB는 컨텍스트 선형 밴딧에 대한 알려진 하한값과 일치하는 손실 한계를 달성하는가?
• RQ4 일반적인 설정에서 유한 시간 분석을 통해 KernelUCB는 GP-UCB 알고리즘보다 어떻게 향상되는가?
• RQ5 행동 집합을 전부 샘플링하지 않아도, 제안된 방법이 행동 간 효과적으로 일반화될 수 있는가?

주요 결과

• 제안된 KernelUCB 알고리즘은 일반적인 경우에서 GP-UCB보다 향상된 누적 손실 한계를 달성하며, 커널에 의존하는 양과 보상 함수의 RKHS 노름 측면에서 모두 개선된 결과를 보였다.
• 선형 커널의 경우, KernelUCB의 손실 한계는 컨텍스트 선형 밴딧에 대한 알려진 하한값과 정확히 일치하여 이 설정에서 이론적으로 최적임을 시사한다.
• 유한 시간 분석을 통해 이전의 접근들보다 더 날카로운 손실 한계를 제공하며, 특히 고차원적이거나 복잡한 맥락 구조를 가진 시나리오에서 뚜렷한 개선이 있었다.
• KernelUCB는 GP-UCB를 특수 케이스로 포함하여, 두 프레임워크를 동일한 이론적 틀 안에서 통합한다.
• 커널 함수를 통한 맥락 유사성 활용을 통해 모든 행동을 샘플링할 필요 없이 큰 행동 공간에서 효율적인 학습이 가능하게 한다.
• 이론적 결과는 보상 함수가 사전에 알려져 있지 않은 상황에서도 알고리즘이 탐색과 이용을 효과적으로 균형 잡고 있음을 보여준다.