[논문 리뷰] Smooth Contextual Bandits: Bridging the Parametric and Non-differentiable Regret Regimes

Yichun Hu, Nathan Kallus외 1명|arXiv (Cornell University)|2019. 09. 05.

Advanced Bandit Algorithms Research참고 문헌 32인용 수 6

한 줄 요약

이 논문은 예상 보상 함수를 Hölder 클래스에 모델링하고 부드러움 파라미터 $\beta$를 사용하여, 매개변수적 및 비미분 가능 regret 영역을 통합하는 새로운 부드러운 컨텍스추얼 밴딧 알고리즘을 제안한다. 모든 $\beta \in (0, \infty]$ 에서 최적의 속도를 가지며, $\beta = \infty$ (매개변수적)일 경우 로그 형태의 regret을 회복하고, $\beta < \infty$일 경우 $\tilde{O}(T^{\frac{\beta+d}{2\beta+d}})$를 기록함으로써, 전역 외삽 전략과 국소 학습 전략 사이의 격차를 메운다.

ABSTRACT

We study a nonparametric contextual bandit problem where the expected reward functions belong to a Hölder class with smoothness parameter $β$. We show how this interpolates between two extremes that were previously studied in isolation: non-differentiable bandits ($β\leq1$), where rate-optimal regret is achieved by running separate non-contextual bandits in different context regions, and parametric-response bandits (satisfying $β=\infty$), where rate-optimal regret can be achieved with minimal or no exploration due to infinite extrapolatability. We develop a novel algorithm that carefully adjusts to all smoothness settings and we prove its regret is rate-optimal by establishing matching upper and lower bounds, recovering the existing results at the two extremes. In this sense, our work bridges the gap between the existing literature on parametric and non-differentiable contextual bandit problems and between bandit algorithms that exclusively use global or local information, shedding light on the crucial interplay of complexity and regret in contextual bandits.

연구 동기 및 목표

• 보상 함수의 부드러움 스펙트럼 전체에 걸쳐 컨텍스추얼 밴딧을 통합적으로 연구하기 위해, 비미분 가능 ($\beta \leq 1$)에서 매개변수적 ($\beta = \infty$) 설정에 이르기까지의 부드러움 수준을 다루는 것.
• 기존 문헌에서 별개로 연구되어 온 매개변수적 및 비미분 가능 컨텍스추얼 밴딧 간의 이론적 격차를 해소하는 것.
• 알고리즘의 보상 함수의 알려지지 않은 부드러움 $\beta$에 따라 전역 정보와 국소 정보를 적응적으로 균형 잡는 것.
• 모든 $\beta \in (0, \infty]$ 에 대해 상한 및 하한 경계를 증명하여 알고리즘의 속도 최적성(레이트-옵티멀리티)을 확립하는 것.

제안 방법

• 알고리즘은 국소 밀도와 부드러움에 기반한 적응형 초입방형으로 컨텍스트 공간을 분할하여, 가능한 한 전역적 구조를 유지하면서 국소 학습을 가능하게 한다.
• 예측된 부드러움 $\beta$에 따라 탐색 반경을 조정하는 계층적 탐색 전략을 사용하여, 국소 정확도와 전역 외삽 간의 균형을 맞춘다.
• 근접 최적의 액션 혼동 확률을 제어하기 위해 마진 조건(가정 5, iv)을 도입하여, regret 경계가 $\epsilon^{1+\alpha}$ 비례하도록 보장한다.
• 신뢰구간 기반의 액션 선택 규칙을 적용하여 활성 액션 집합을 동적으로 유지하고, 최적의 액션이 절대 제거되지 않도록 보장한다.
• regret 분석은 두 성분으로 분해된 새로운 방법에 기반한다: 잘 추정된 영역에서의 비최적 액션 선택에 의한 regret과 추정이 부족한 영역에서의 추정 오차에 의한 regret.
• 추정 오차 및 사건 실패에 대한 고확률 경계(\mathcal{G}_{k-1} 및 \mathcal{M}_{k-1}을 통해)를 증명하여, 기존 하한 경계와 일치하는 날카로운 regret 경계를 이끌어낸다.

실험 결과

연구 질문

• RQ1 어떻게 단일 알고리즘이 모든 Hölder 부드러움 수준 $\beta \in (0, \infty]$ 에서 컨텍스추얼 밴딧에서 최적의 속도를 가지는 regret을 달성할 수 있는가?
• RQ2 비모수적 컨텍스추얼 밴딧에서 전역 외삽과 국소 학습 간의 근본적 상충 관계는 무엇인가?
• RQ3 통합 알고리즘이 매개변수적 밴딧(로그 형태의 regret)과 비미분 가능 밴딧(рег레트 $\sim T^{\frac{\beta+d}{2\beta+d}}$) 간의 성능 격차를 메울 수 있는가?
• RQ4 부드러움 $\beta$, 차원 $d$, 마진 조건 $\alpha$ 간의 상호작용이 비모수적 밴딧에서 최소화된 regret에 어떻게 영향을 미치는가?
• RQ5 보상 함수가 부드럽지만 반드시 미분 가능하지 않은 경우, 탐색과 이용 간의 최적 균형은 무엇인가?

주요 결과

• 제안된 알고리즘은 모든 $\beta \in (0, \infty]$ 에서 최적의 속도를 가지며, 유한한 $\beta$에 대해서는 regret이 $\tilde{O}(T^{\frac{\beta+d}{2\beta+d}})$ 비례하여 증가하며, 기존 하한 경계와 일치한다.
• 모수적 경우($\beta = \infty$)에서는 로그 형태의 regret을 회복하여, 무한한 부드러움 하에서 탐욕 전략이 최적임을 확인한다.
• 비미분 가능 경우($\beta \leq 1$)에서는 regret이 $\tilde{O}(T^{\frac{\beta+d}{2\beta+d}})$ 경계와 일치하며, 이는 이전 비모수적 연구 결과를 회복한다.
• 알고리즘은 국소 및 전역 학습을 적응적으로 균형 잡는다: $\beta$가 작을 때는 국소 이웃을 사용하고, $\beta$가 클 때는 전역 외삽을 사용한다.
• 마진 조건(가정 5, iv)은 근접 최적 액션 혼동 확률을 제어함으로써 더 날카로운 regret 경계를 가능하게 하여, $\epsilon_k$에 대한 의존도를 향상시킨다.
• 분석을 통해 추정 오차 및 사건 실패에 기인한 regret은 $\tilde{O}(1)$임을 증명하여, 주된 항목이 $\tilde{O}(T^{\frac{\beta+d}{2\beta+d}})$ 항임을 보장한다.