[논문 리뷰] Nonparametric Stochastic Contextual Bandits

Melody Y. Guan, Heinrich Jiang|arXiv (Cornell University)|2018. 01. 05.

Advanced Bandit Algorithms Research참고 문헌 19인용 수 5

한 줄 요약

이 논문은 이론적 보장을 갖춘 k-NN 회귀를 사용하는 비모수적 스토하스틱 컨텍스추얼 밴딧 알고리즘을 제안하며, $D$가 컨텍스트 차원인 경우 하위선형 리그레트 $ frac{1+D}{2+D}}$를 달성한다. 알고리즘은 데이터의 내재 차원 $d$에 적응하여 저차원 다양체에서 더 빠른 수렴을 가능하게 하며, 최소한의 가정으로 최상의 액션 영역의 일관된 위상적 구조를 복원한다.

ABSTRACT

We analyze the $K$-armed bandit problem where the reward for each arm is a noisy realization based on an observed context under mild nonparametric assumptions. We attain tight results for top-arm identification and a sublinear regret of $\widetilde{O}\Big(T^{\frac{1+D}{2+D}}\Big)$, where $D$ is the context dimension, for a modified UCB algorithm that is simple to implement ($k$NN-UCB). We then give global intrinsic dimension dependent and ambient dimension independent regret bounds. We also discuss recovering topological structures within the context space based on expected bandit performance and provide an extension to infinite-armed contextual bandits. Finally, we experimentally show the improvement of our algorithm over existing multi-armed bandit approaches for both simulated tasks and MNIST image classification.

연구 동기 및 목표

• 임의의 비선형 보상 함수를 가진 컨텍스추얼 밴딧에서 최적의 컨텍스트-액션 매핑을 학습하는 데 도전하는 것.
• 데이터 다양체의 내재 차원에 적응함으로써 비모수적 밴딧 학습에서 차원의 저주를 극복하는 것.
• 보상 함수에 강한 모수적 가정을 두지 않고도 최상의 액션 식별과 리그레트 최소화에 대한 이론적 보장을 제공하는 것.
• 균일한 일致성(consistency)을 사용하여 컨텍스트 공간에서 특정 액션이 최적인 연결 성분과 같은 위상적 구조를 복원하는 것.
• 무한 액션 공간을 가진 무한 액션 컨텍스추얼 밴딧으로 프레임워크를 확장하고, 실세계 이미지 분류 작업에서 성능을 검증하는 것.

제안 방법

• 각 액션에 대해 평균 보상 함수를 추정하기 위해 컨텍스트 공간 내 국소적 이웃 정보를 활용하는 k-NN 회귀를 사용한다.
• k-NN 회귀 오차율에서 유도된 신뢰 구간을 사용하여 탐색과 이용을 균형 잡는 수정된 UCB 알고리즘(k-NN-UCB)을 설계한다.
• 비모수 통계에서의 이론적 결과를 적용하여 k-NN 추정치의 균일한 이탈을 유한하게 하여, 약한 가정 하에서도 강력한 일치성을 확보한다.
• 실제 차원은 임베딩 차원 $D$가 아니라 내재 차원 $d$이므로, 데이터가 저차원 다양체 위에 있을 경우 더 빠른 수렴이 가능하다는 사실을 활용한다.
• k-NN 추정치의 균일한 일치성을 활용하여 컨텍스트 공간 내에서 특정 액션이 최적인 영역를 식별함으로써 위상적 구조 복원을 가능하게 한다.
• 액션 공간을 컨텍스트에 대한 연속 함수로 모델링하여 무한 액션 밴딧으로 프레임워크를 확장하고, k-NN을 사용해 동적으로 최적의 액션을 추정한다.

실험 결과

연구 질문

• RQ1 비모수적 방법이 보상 함수에 선형성을 가정하지 않고도 스트로스틱 컨텍스추얼 밴딧에서 날카로운 리그레트 경계를 달성할 수 있는가?
• RQ2 알고리즘의 성능이 컨텍스트 공간의 임베딩 차원 대비 내재 차원에 어떻게 의존하는가?
• RQ3 알고리즘은 특정 액션이 최적인 영역의 연결 성분과 같은 컨텍스트 공간의 위상적 구조를 복원할 수 있는가?
• RQ4 복잡한 비선형 결정 경계가 존재하는 환경에서 k-NN 기반 UCB는 선형 기반 알고리즘인 LinUCB를 능가하는가?
• RQ5 연속 액션 공간을 가진 무한 액션 컨텍스추얼 밴딧 문제로 이 방법을 확장할 수 있는가?

주요 결과

• k-NN-UCB 알고리즘은 약한 리프시츠 및 서브-가우시안 노이즈 가정 하에 하위선형 리그레트 경계 $ frac{1+D}{2+D}}$를 확보한다. 여기서 $D$는 임베딩 컨텍스트 차원이다.
• 데이터가 내재 차원 $d < D$의 저차원 다양체 위에 있을 경우 리그레트는 $ frac{1+d}{2+d}}$로 향상되며, 이는 효과적 차원에 자동 적응함을 보여준다.
• k-NN 회귀는 최상의 액션 식별에서 릿지 회귀를 크게 능가하며, Quintic Function 사례에서는 테스트 오차를 0.065에서 0.002로 감소시키고, Smiley 및 Bullseye 사례에서는 거의 영오차를 달성한다.
• MNIST 이미지 분류 작업에서 k-NN-UCB는 테스트 리그레트 5.8%를 기록했고, LinUCB는 17.5%를 기록하여 복잡한 비선형 결정 경계를 가진 실세계 데이터에서 뛰어난 성능을 보였다.
• 형태와 상대적 위치가 임의일지라도, 특정 액션이 최적인 컨텍스트 공간의 연결 성분을 균일한 일치성 보장 하에 성공적으로 복원하였다.
• 알고리즘은 데이터 전처리가 필요 없으며, 컨텍스트 공간의 기하학적 구조에 자동으로 적응하므로, 내재 차원이 낮은 고차원 실세계 데이터에 적합하다.