[논문 리뷰] Multi-facet Contextual Bandits: A Neural Network Perspective

Yikun Ban, Jingrui He외 1명|arXiv (Cornell University)|2021. 06. 06.

Advanced Bandit Algorithms Research참고 문헌 44인용 수 4

한 줄 요약

이 논문은 다중 측면적 맥락 기반 밴디트 문제를 위한 신경망 기반 알고리즘인 MuFasa를 소개한다. MuFasa는 여러 밴디트의 보상 함수를 동시에 모델링하여 최종 복합 보상을 최대화한다. 탐색을 위해 상한 신뢰구간을 활용하고, 상호 밴디트 간 의존성을 포착하기 위해 공유 신경망을 사용함으로써, $\widetilde{\mathcal{O}}((K+1)\sqrt{T})$ 수준의 거의 최적의 누적손실 경계를 달성하며, 부분적인 보조보상 제공 조건에서도 실제 데이터셋에서 강력한 기준 모델들을 능가한다.

ABSTRACT

Contextual multi-armed bandit has shown to be an effective tool in recommender systems. In this paper, we study a novel problem of multi-facet bandits involving a group of bandits, each characterizing the users' needs from one unique aspect. In each round, for the given user, we need to select one arm from each bandit, such that the combination of all arms maximizes the final reward. This problem can find immediate applications in E-commerce, healthcare, etc. To address this problem, we propose a novel algorithm, named MuFasa, which utilizes an assembled neural network to jointly learn the underlying reward functions of multiple bandits. It estimates an Upper Confidence Bound (UCB) linked with the expected reward to balance between exploitation and exploration. Under mild assumptions, we provide the regret analysis of MuFasa. It can achieve the near-optimal $\widetilde{ \mathcal{O}}((K+1)\sqrt{T})$ regret bound where $K$ is the number of bandits and $T$ is the number of played rounds. Furthermore, we conduct extensive experiments to show that MuFasa outperforms strong baselines on real-world data sets.

연구 동기 및 목표

• 사용자 필요가 상호의존적인 다수의 측면을 포함하는 개인화된 추천 및 헬스케어 의사결정 문제를 해결하기 위해.
• 각 측면이 별개의 밴디트에 대응하고 최종 보상이 모든 보조보상의 함수가 되는 새로운 다중 측면적 맥락 기반 밴디트 설정을 모델링하기 위해.
• 다양한 밴디트 간의 의존성을 포착하면서 탐색과 이용의 균형을 이루는 공동 학습 프레임워크를 개발하기 위해.
• 비선형 보상 함수와 부분적인 보조보상 제공 조건이 존재하는 환경에서도 거의 최적의 누적손실 경계를 달성하기 위해.
• 다양한 보상 제공 조건에서 실제 데이터셋에서의 강건한 성능을 입증하기 위해.

제안 방법

• MuFasa는 $K$개의 밴디트의 보상 함수를 보조보상과 최종 복합 보상에서 함께 추정하기 위해 공유 신경망 $\mathcal{F}$를 활용한다.
• 신경망에서 추정한 불확실성 정보를 통합한 상한 신뢰구간(UCB) 전략을 사용하여 탐색과 이용의 균형을 이룬다.
• 최종 보상은 $K$개의 보조보상을 함수 $H$로 모델링하여 밴디트 결과 간의 복잡하고 비선형적인 관계를 학습할 수 있도록 한다.
• 보조보상의 일부 제공 조건을 고려하여 최종 보상 신호에 의존하고, 가용할 경우 보조보상을 활용해 개별 밴디트의 특징 학습을 향상시킨다.
• 누적손실 분석은 보상 함수의 리프시츠 연속성과 특징 공간의 유계성 등의 온건한 조건을 가정하여 $\widetilde{\mathcal{O}}((K+1)\sqrt{T})$ 수준의 누적손실 경계를 이끌어낸다.
• 손실 함수는 예측된 최종 보상과 관측된 최종 보상 간의 차이에 기반하여, 온전한 미니배치 경사하강법으로 끝에서 끝까지 훈련된다.

실험 결과

연구 질문

• RQ1 신경망 기반 접근법은 다중 측면적 추천 환경에서 상호의존적인 다수의 밴디트 문제를 효과적으로 학습하고 균형을 이룰 수 있는가?
• RQ2 공유 신경망을 통한 다수의 밴디트 공동 모델링이 개별 밴디트 학습보다 더 나은 누적손실 성능을 낼 수 있는가?
• RQ3 개별 보조보상에 접근할 수 없고 최종 복합 보상만 제공되는 경우 알고리즘이 어떻게 성능을 내는가?
• RQ4 MuFasa는 비선형 보상 함수와 복잡한 실제 세계 데이터 분포에 얼마나 잘 일반화되는가?
• RQ5 온건한 가정 하에 제안된 방법의 이론적 누적손실 경계는 무엇인가?

주요 결과

• MuFasa는 $\widetilde{\mathcal{O}}((K+1)\sqrt{T})$ 수준의 거의 최적의 누적손실 경계를 달성하였으며, 이는 맥락 기반 밴디트의 하한 경계에 매우 가까운 이론적 성과이다.
• Mnist+NotMnist 데이터셋에서, $H_1$ 최종 보상 함수 조건에서는 NeuUCB 대비 17.8% 감소한 누적손실을 기록하였고, $H_2$ 조건에서는 20% 감소하였다.
• 보조보상 중 하나만 가용한 조건에서도 MuFasa(One sub-reward)는 Yelp 데이터셋에서 모든 기준 모델, 포함 NeuUCB를 능가하는 성능을 보였다.
• 보조보상이 전혀 제공되지 않는 조건에서도 MuFasa(No sub-reward)는 Yelp 데이터셋에서 최고의 기준 모델보다 낮은 누적손실을 기록하였고, Mnist+NotMnist에서도 경쟁적인 성능 유지를 하였다.
• 신경망 아키텍처 덕분에 MuFasa는 각 밴디트의 상대적 중요도를 학습할 수 있었으며, 예를 들어 최종 보상에 더 기여하는 밴디트 1을 우선순위로 삼는 등 더 나은 의사결정을 내릴 수 있었다.
• 실험 결과, MuFasa의 공동 모델링 능력 덕분에 각 밴디트를 별개로 다루는 방법보다 성능이 뛰어났으며, 특히 비대칭적이거나 비선형적인 보상 함수가 존재하는 환경에서 두드러진 성능 향상을 보였다.