[논문 리뷰] Stochastic Contextual Bandits with Known Reward Functions

Pranav Sakulkar, Bhaskar Krishnamachari|arXiv (Cornell University)|2016. 04. 30.

Advanced Bandit Algorithms Research참고 문헌 14인용 수 15

한 줄 요약

이 논문은 네트워킹 응용 프로그램(예: 동적 채널 선택 및 에너지 수확)에서 흔한 비선형 보상 함수를 알게 된 경우를 고려한 스토하스틱 컨텍스추얼 밴딧에 대한 새로운 알고리즘인 DCB(ε)와 CCB(ε,δ)를 제안한다. 알려진 보상 구조를 활용함으로써, 알고리즘은 시간에 대해 로그 스케일링이고 비최적 암에 대해 선형 의존성을 보이며, 총 암 수가 아닌 비최적 암의 수에 의존하는 결과를 얻어, 연속적 맥락에서 하위선형의 최소화와 저장소 간의 트레이드오프를 실현한다.

ABSTRACT

Many sequential decision-making problems in communication networks can be modeled as contextual bandit problems, which are natural extensions of the well-known multi-armed bandit problem. In contextual bandit problems, at each time, an agent observes some side information or context, pulls one arm and receives the reward for that arm. We consider a stochastic formulation where the context-reward tuples are independently drawn from an unknown distribution in each trial. Motivated by networking applications, we analyze a setting where the reward is a known non-linear function of the context and the chosen arm's current state. We first consider the case of discrete and finite context-spaces and propose DCB($ε$), an algorithm that we prove, through a careful analysis, yields regret (cumulative reward gap compared to a distribution-aware genie) scaling logarithmically in time and linearly in the number of arms that are not optimal for any context, improving over existing algorithms where the regret scales linearly in the total number of arms. We then study continuous context-spaces with Lipschitz reward functions and propose CCB($ε, δ$), an algorithm that uses DCB($ε$) as a subroutine. CCB($ε, δ$) reveals a novel regret-storage trade-off that is parametrized by $δ$. Tuning $δ$ to the time horizon allows us to obtain sub-linear regret bounds, while requiring sub-linear storage. By exploiting joint learning for all contexts we get regret bounds for CCB($ε, δ$) that are unachievable by any existing contextual bandit algorithm for continuous context-spaces. We also show similar performance bounds for the unknown horizon case.

연구 동기 및 목표

• 네트워킹 응용 프로그램에서 알려진 보상 함수를 활용하지 않는 컨텍스추얼 밴딧 알고리즘의 격차를 해소한다.
• 맥락과 암 상태의 알려진 비선형 함수로 표현되는 보상을 가지는 효율적인 알고리즘을 개발한다.
• 시간에 대해 로그 스케일링이고 총 암의 수가 아닌 비최적 암의 수에 대해 선형 의존성을 보이는 최소화 경계를 달성한다.
• 연속적 맥락 공간에서 맥락 간 공동 학습을 통해 탐색을 줄이고 최소화 성능을 향상시킨다.
• 시간 수평선 지식이 있을 경우 파rameter δ를 통해 연속적 환경에서 최소화-저장소 트레이드오프를 설정하고, 하위선형 최소화와 저장소를 달성한다.

제안 방법

• 이산적이고 유한한 맥락 공간을 위한 UCB 유사 알고리즘인 DCB(ε)를 제안하며, 알려진 보상 함수를 활용해 맥락 간 보상 정보를 전파한다.
• 최적 암의 비최적 선택 수를 상수로 제한하는 새로운 증명 기법을 도입하여 로그 스케일링 최소화 성능을 달성한다.
• 리프시츠 보상 함수를 가진 연속적 맥락 공간을 위한 CCB(ε,δ)를 DCB(ε)를 서브루틴으로 사용해 설계한다.
• δ를 통해 최소화-저장소 트레이드오프를 매개변수화하며, 더 큰 δ는 더 낮은 최소화를 위해 더 높은 저장소를 요구한다.
• 알 수 없는 시간 수평선을 위해 듀얼링 트릭을 적용하여 수평선 지식 없이도 하위선형 최소화를 보장한다.
• 연속적 맥락의 양자화를 δ에 의존하는 간격으로 사용하여 이산 알고리즘의 결과를 연속 영역으로 확장한다.

실험 결과

연구 질문

• RQ1 표준 다중 암 밴딧 접근 방식을 초월해 알려진 보상 함수를 활용하여 스토하스틱 컨텍스추얼 밴딧에서 최소화를 줄일 수 있는가?
• RQ2 보상 함수가 알려져 있을 때 최적의 최소화 스케일링은 무엇이며, 기존 알고리즘과 비교해 어떻게 다른가?
• RQ3 연속적 맥락에서 맥락 간 공동 학습이 이전 컨텍스추얼 밴딧 알고리즘으로는 달성할 수 없는 최소화 경계를 제공할 수 있는가?
• RQ4 연속적 컨텍스추얼 밴딧 문제에서 최소화-저장소 트레이드오프를 어떻게 체계화하고 활용할 수 있는가?
• RQ5 알 수 없는 시간 수평선에서 적응형 알고리즘 설계를 통해 어떤 성능 보장을 달성할 수 있는가?

주요 결과

• DCB(ε)는 시간에 대해 로그 스케일링이고 비최적 암의 수에 대해 선형 의존성을 보이며, 총 암의 수가 아닌 비최적 암의 수에 의존하는 최소화를 달성하여 기존 알고리즘에 비해 상당한 향상을 이룬다.
• 리프시츠 보상 함수를 가진 연속적 맥락에서, CCB(ε,δ)는 알려진 시간 수평선에서 O(√T)의 최소화를 달성하고, 알려지지 않은 수평선에서는 O(√T log T)의 최소화를 달성한다.
• CCB(ε,δ)의 최소화는 δ가 감소할수록 감소하며, 더 큰 저장소를 통해 더 낮은 최소화를 달성할 수 있는 조정 가능한 최소화-저장소 트레이드오프를 보여준다.
• 수치적 결과는 CCB(ε,δ)가 다중-UCB와 UCB1보다 뛰어나며, 특히 고차원 또는 연속적 맥락에서 맥락 간 공동 학습 덕분에 성능이 뛰어나다.
• CCB(ε,δ)의 이론적 최소화 경계는 연속적 맥락 공간에서 기존 컨텍스추얼 밴딧 알고리즘으로서는 달성할 수 없다.
• UCB1에서 최적 선택의 고확률 경계를 부산물로 증명하였으며, 이는 밴딧 이론에서 별도의 응용 가능성이 있다.