[논문 리뷰] Neural Contextual Bandits with Upper Confidence Bound-Based Exploration

Dongruo Zhou, Lihong Li외 1명|arXiv (Cornell University)|2019. 11. 11.

Advanced Bandit Algorithms Research인용 수 6

한 줄 요약

이 논문은 깊이 있는 신경망을 사용해 표현을 학습하고, 탐색을 위해 상한 신뢰구간(UCB)을 구성하는 신경망 기반의 문맥 bandit 알고리즘인 NeuralUCB를 제안한다. 표준 가정 하에서, 이 알고리즘은 $\tilde{O}(\sqrt{T})$의 손실을 달성하며, 이는 파라미터가 강하게 가정되지 않은 상황에서도 near-optimal 손실 보장을 갖는 첫 번째 신경망 기반 문맥 bandit 알고리즘이다.

ABSTRACT

We study the stochastic contextual bandit problem, where the reward is generated from an unknown function with additive noise. No assumption is made about the reward function other than boundedness. We propose a new algorithm, NeuralUCB, which leverages the representation power of deep neural networks and uses a neural network-based random feature mapping to construct an upper confidence bound (UCB) of reward for efficient exploration. We prove that, under standard assumptions, NeuralUCB achieves $ ilde O(\sqrt{T})$ regret, where $T$ is the number of rounds. To the best of our knowledge, it is the first neural network-based contextual bandit algorithm with a near-optimal regret guarantee. We also show the algorithm is empirically competitive against representative baselines in a number of benchmarks.

연구 동기 및 목표

• 신경망 기반 문맥 bandit 알고리즘에서 손실 보장이 부족한 문제를 해결한다.
• 스토케스틱 문맥 bandit 환경에서 깊이 있는 신경망을 활용해 표현 학습을 수행하는 방법을 개발한다.
• 보상 함수에 대한 강력한 가정 없이도 상한 신뢰구간 기반 탐색 메커니즘을 통해 효율적인 탐색을 보장한다.
• 보상 함수에 대한 파라미터 가정 없이 near-optimal 손실 성능을 달성한다.
• 기준 환경에서 기존 최고 수준의 벤치마크 대비 실증적으로 경쟁력을 보여준다.

제안 방법

• 깊이 있는 신경망을 사용해 문맥에서 낮은 차원의 표현으로의 무작위 특징 매핑을 학습한다.
• 신경망의 예측과 불확실성 추정치를 기반으로 기대 보상에 대한 상한 신뢰구간(UCB)을 구성한다.
• 스토케스틱 문맥 bandit 환경에서 탐색과 이용의 균형을 이루기 위해 UCB 원리를 적용한다.
• 보상 함수의 유한성 조건만으로도 보상의 덧셈 노이즈에 대해 UCB 구성이 강인함을 보장한다.
• 표준 일반화 및 농도 경계를 활용해 약한 가정 하에서 손실 보장을 도출한다.
• 신경망의 출력을 활용해 기대 보상과 그 불확실성을 추정함으로써 체계적인 탐색을 가능하게 한다.

실험 결과

연구 질문

• RQ1 보상 함수에 대해 강력한 파라미터 가정 없이도 신경망 기반 문맥 bandit 알고리즘이 near-optimal 손실을 달성할 수 있는가?
• RQ2 어떻게 깊이 있는 표현 학습을 보상 설정에서 상한 신뢰구간 탐색과 효과적으로 융합할 수 있는가?
• RQ3 표준 가정 하에서 신경망 기반 문맥 bandit 알고리즘에 대해 어떤 이론적 손실 경계를 설정할 수 있는가?
• RQ4 제안된 방법은 기존의 기준 대비 성능과 샘플 효율성 측면에서 어떻게 비교되는가?
• RQ5 깊이 있는 신경망의 표현 능력을 활용하면서도 이론적 보장을 유지하는 것은 가능한가?

주요 결과

• NeuralUCB는 표준 가정 하에서 $\tilde{O}(\sqrt{T})$ 손실을 달성하며, 신경망 기반 문맥 bandit 알고리즘 중에서 첫 번째 near-optimal 손실 보장을 확립한다.
• 알고리즘은 보상 함수의 구조에 대한 사전 지식 없이도 깊이 있는 신경망을 활용해 문맥 표현을 학습한다.
• 신경망의 불확실성 추정치를 기반으로 상한 신뢰구간을 구성함으로써 효율적인 탐색을 보장한다.
• 실증 평가 결과, 다양한 기준 환경에서 기존 최고 수준의 대비 기준과 경쟁 가능한 성능을 보였다.
• 손실 경계는 보상 함수의 유한성 조건만을 가정하며, 파라미터나 매끄러움 조건이 필요로 하지 않는다.
• 이론적 분석을 통해 알고리즘이 라운드 수 T에 대해 유리하게 스케일링됨을 확인하였으며, 로그 인자 외에는 정보 이론적 하한선에 근접한다.