[논문 리뷰] Neural Contextual Bandits with Deep Representation and Shallow Exploration

Pan Xu, Zheng Wen외 2명|arXiv (Cornell University)|2020. 12. 03.

Advanced Bandit Algorithms Research참고 문헌 47인용 수 18

한 줄 요약

이 논문은 표현 학습을 위해 깊은 ReLU 신경망을 사용하고, 마지막 선형 레이어에서만 상한 신뢰도(Upper Confidence Bound, UCB) 탐색을 수행하는 컨텍스트 밴딧 알고리즘인 Neural-LinUCB를 제안한다. 이는 전체 네트워크 파ameter 공간에 대한 탐색을 피하므로 계산적으로 효율적이며, $×{O}(ackslash sqrt{T})$의 손실을 달성하여 선형 밴딧과 동일한 성능을 보인다.

ABSTRACT

We study a general class of contextual bandits, where each context-action pair is associated with a raw feature vector, but the reward generating function is unknown. We propose a novel learning algorithm that transforms the raw feature vector using the last hidden layer of a deep ReLU neural network (deep representation learning), and uses an upper confidence bound (UCB) approach to explore in the last linear layer (shallow exploration). We prove that under standard assumptions, our proposed algorithm achieves $ ilde{O}(\sqrt{T})$ finite-time regret, where $T$ is the learning time horizon. Compared with existing neural contextual bandit algorithms, our approach is computationally much more efficient since it only needs to explore in the last layer of the deep neural network.

연구 동기 및 목표

• 기존의 신경망 기반 컨텍스트 밴딧 알고리즘들이 전체 깊은 네트워크 파ameter 공간에 대해 탐색을 수행함으로써 발생하는 계산 비효율성을 해결하기 위해.
• 원시적이고 고차원적인 컨텍스트-액션 특징을 가진 컨텍스트 밴딧 설정에서 샘플 효율성과 손실 성능을 향상시키기 위해.
• 이전 연구에서 관찰된 바와 같이 표현 학습과 탐색을 분리하는 것이 효과적인 이유를 이론적으로 정당화하기 위해.
• 기본 가정 하에 신경망 기반 컨텍스트 밴딧 알고리즘에 대해 비선형 손실 경계를 설정하기 위해.

제안 방법

• 알고리즘은 깊은 ReLU 신경망을 사용하여 원시적인 컨텍스트-액션 특징 벡터를 마지막 은닉 레이어에서 낮은 차원의 표현으로 매핑한다.
• 탐색은 오직 마지막 선형 레이어에서 상한 신뢰도(Upper Confidence Bound, UCB) 전략을 사용하여 수행되며, 계산 비용을 최소화한다.
• 과잉 파aram터화된 영역에서 깊은 네트워크의 일반화 및 수렴성을 분석하기 위해 신경접선핵(Neural Tangent Kernel, NTK) 이론을 활용한다.
• 마지막 레이어 가중치의 추정 오차를 농도 부등식과 행렬 노름을 사용하여 경계함으로써 손실 분석을 수행한다.
• 알고리즘은 마지막 레이어 파ameters를 위한 공분산 행렬과 신뢰구간을 유지하여 탐색과 이용의 균형을 이룬다.
• 이론적 분석은 선형 컨텍스트 밴딧의 기법들(예: Abbasi-Yadkori 등, 2011)과 NTK 기반 일반화 경계를 결합한다.

실험 결과

연구 질문

• RQ1 전체 네트워크 탐색이 필요 없이 깊은 신경망을 컨텍스트 밴딧에서 표현 학습에 효과적으로 사용할 수 있는가?
• RQ2 표현 학습과 탐색을 분리하면 더 나은 손실 성능와 계산 효율성 달성이 가능한가?
• RQ3 신경망 기반 컨텍스트 밴딧 알고리즘이 $\widetilde{O}(\sqrt{T})$ 손실을 달성할 수 있는가, 이는 최적의 선형 밴딧 알고리즘과 동일한 성능이다?
• RQ4 깊은 네트워크의 마지막 레이어에만 탐색을 제한할 경우, 이론적 손실 경계 $\widetilde{O}(\sqrt{T})$ 는 달성 가능한가?

주요 결과

• 제안된 Neural-LinUCB 알고리즘은 $\widetilde{O}(\sqrt{T})$의 손실 경계를 달성하여 선형 컨텍스트 밴딧의 최적 손실률과 동일한 성능을 보인다.
• 탐색이 마지막 레이어로 국한되어 있기 때문에, 전체 네트워크 최적화를 피함으로써 기존의 신경 밴딧 방법보다 계산적으로 더 효율적이다.
• 이론적 분석은 깊은 표현 학습과 얕은 UCB 탐색의 조합이 비선형 손실을 유도함을 확인하여 이전 연구에서 관찰된 경험적 관찰을 정당화한다.
• 손실 경계는 특징 노름의 유계성과 보상에서의 서브가우시안 노이즈 등의 기본 가정 하에 유도되었다.
• 과잉 파aram터화된 영역에서 깊은 네트워크의 일반화 오차를 경계하기 위해 신경접선핵(NTK) 이론을 활용한다.
• 실제 데이터셋에 대한 실험 결과는 Neural-LinUCB가 전체 네트워크 탐색 기반 베이스라인에 비해 훨씬 낮은 계산 비용으로 뛰어난 성능을 달성함을 보여준다.