[논문 리뷰] Deep Contextual Multi-armed Bandits

Mark Collier, Héctor Llorens|arXiv (Cornell University)|2018. 07. 25.

Advanced Bandit Algorithms Research참고 문헌 22인용 수 10

한 줄 요약

이 논문은 비선형적 인지적 밴딧 설정에서 원칙적이고 적응적인 탐색을 가능하게 하기 위해 베이지안 신경망과 콘크리트 드롭아웃을 통한 톰슨 샘플링을 조합한 딥 러닝 프레임워크인 딥 컨텍스추얼 멀티어미드 밴딧을 제안한다. 엔드 투 엔드로 드롭아웃 비율을 학습시킴으로써, UCI 버섯 및 카지노 파리티 작업에서 모두 에프터-그리디 및 고정 드롭아웃 기반 모델에 비해 명백히 감소된 누적 손실을 달성한다.

ABSTRACT

Contextual multi-armed bandit problems arise frequently in important industrial applications. Existing solutions model the context either linearly, which enables uncertainty driven (principled) exploration, or non-linearly, by using epsilon-greedy exploration policies. Here we present a deep learning framework for contextual multi-armed bandits that is both non-linear and enables principled exploration at the same time. We tackle the exploration vs. exploitation trade-off through Thompson sampling by exploiting the connection between inference time dropout and sampling from the posterior over the weights of a Bayesian neural network. In order to adjust the level of exploration automatically as more data is made available to the model, the dropout rate is learned rather than considered a hyperparameter. We demonstrate that our approach substantially reduces regret on two tasks (the UCI Mushroom task and the Casino Parity task) when compared to 1) non-contextual bandits, 2) epsilon-greedy deep contextual bandits, and 3) fixed dropout rate deep contextual bandits. Our approach is currently being applied to marketing optimization problems at HubSpot.

연구 동기 및 목표

• 기존 방법이 동시에 수행하지 못하는 비선형 맥락 밴딧 설정에서 비선형 맥락 모델링과 원칙적인 탐색을 결합하는 데 도전한다.
• 딥 컨텍스추얼 밴딧에서 선형 모델과 에프터-그리디 탐색의 한계를 극복하기 위해 베이지안 신경망을 통한 불확실성 인식 탐색을 가능하게 한다.
• 드롭아웃 비율의 수동 하이퍼파라미터 튜닝이 필요 없도록 학습 중에 엔드 투 엔드로 드롭아웃 비율을 학습시킨다.
• 실제 마케팅 및 합성 작업에서 적응적 탐색을 통해 손실 최소화가 향상됨을 경험적으로 검증한다.

제안 방법

• 추론 시 드롭아웃과 베이지안 신경망의 사후 샘플링 간의 관계를 활용하여 탐색을 위한 톰슨 샘플링을 가능하게 한다.
• 베르누이 드롭아웃의 연속적 리파라미터라이제이션인 콘크리트 드롭아웃을 적용하여 미분 가능하고 학습 가능한 드롭아웃 비율을 모델링하고 기울기 기반 최적화를 가능하게 한다.
• 표준 백프로파게이션을 사용해 콘크리트 드롭아웃을 적용한 딥 신경망을 훈련시켜 기울기 하강을 통해 최적의 탐색 수준을 학습한다.
• 추론 시 톰슨 샘플링을 사용한다: 드롭아웃을 통해 근사 사후분포에서 네트워크 가중치를 샘플링하고, 샘플된 가중치 하에 예상 보상이 가장 높은 행동을 선택한다.
• 네트워크 가중치에 대한 사후분포를 근사하기 위해 변분 추론 목적함수를 사용하여 전체 베이지안 추론 없이도 불확실성 정량화를 가능하게 한다.
• 드롭아웃 비율을 학습 가능한 파라미터로 간주하여 모델이 더 많은 데이터를 관찰할수록 탐색 강도를 자동으로 조정할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 딥 신경망은 비선형 맥락-행동 관계를 모델링하면서도 원칙적인 탐색을 가능하게 할 수 있는가?
• RQ2 엔드 투 엔드로 드롭아웃 비율을 학습시키는 것이 고정 또는 수동 튜닝된 드롭아웃 비율에 비해 손실 최소화에 더 나은 성능을 보이는가?
• RQ3 콘크리트 드롭아웃을 사용한 톰슨 샘플링은 비선형 맥락 밴딧 작업에서 누적 손실 측면에서 에프터-그리디 및 고정 드롭아웃 기반 모델과 비교해 어떻게 성능을 내는가?
• RQ4 학습된 드롭아웃 비율을 통한 적응적 탐색은 실세계 배포 환경에서 수동 하이퍼파라미터 튜닝의 필요성을 줄일 수 있는가?

주요 결과

• UCI 버섯 작업에서 제안된 방법은 최종 누적 손실(Final Cumulative Regret, FCR) 252를 기록했으며, 베르누이 드롭아웃(FCT = 658) 및 에프터-그리디(FCT = 1,718)에 비해 유의미하게 낮았다.
• 카지노 파리티 작업에서 방법은 FCR 1,258을 달성했으며, 베르누이 드롭아웃(FCT = 1,536) 및 에프터-그리디(FCT = 2,718)를 모두 앞섰다.
• 학습된 드롭아웃 비율을 가진 모델은 고정 비율 드롭아웃 대비 최종 손실을 50% 이상 감소시켜 더 빠른 수렴과 조기에 종료된 탐색을 나타냈다.
• 비맥락 밴딧 모델(버섯 작업에서 FCR = 24,048, 카지노 파리티에서 FCR = 25,102)에 비해 상당히 뛰어난 성능을 보이며 맥락 모델링의 가치를 입증했다.
• 손실 곡선의 불연속성은 지수적 재학습과 함께 감소하는 탐색 비율을 통해 시간이 지남에 따라 탐색을 줄이는 것을 증명했다.
• 이 방법은 현재 허브스팟에서 실세계 마케팅 최적화 작업에 도입 중이며, 실용성과 확장성 모두를 입증하고 있다.