[논문 리뷰] Heteroscedastic Bandits with Reneging.

Ping-Chun Hsieh, Xi Liu외 2명|arXiv (Cornell University)|2018. 10. 29.

Advanced Bandit Algorithms Research참고 문헌 28인용 수 4

한 줄 요약

이 논문은 사용자가 보상이 개인의 수용 임계값 이하일 경우 영구적으로 이탈할 수 있으며, 보상 분산이 맥락에 따라 달라지는 이종분산적 맥락 기반 밴디트 모델을 제안한다. 이는 HR-UCB 알고리즘을 도입하여 고확률적 누적 손실이 $\mathcal{O}\Big(\sqrt{{T}}\big(\log({T})\big)^{3/2}\Big)$임을 증명함으로써, 사용자 이탈과 이종분산 보상의 현실 세계적 제약을 해결한다.

ABSTRACT

Although shown to be useful in many areas as models for solving sequential decision problems with side observations (contexts), contextual bandits are subject to two major limitations. First, they neglect user that occurs in real-world applications. That is, users unsatisfied with an interaction quit future interactions forever. Second, they assume that the reward distribution is homoscedastic, which is often invalidated by real-world datasets, e.g., datasets from finance. We propose a novel model of heteroscedastic contextual bandits with reneging to overcome the two limitations. Our model allows each user to have a distinct acceptance level, with any interaction falling short of that level resulting in that user reneging. It also allows the variance to be a function of context. We develop a UCB-type of policy, called HR-UCB, and prove that with high probability it achieves $\mathcal{O}\Big(\sqrt{{T}}\big(\log({T})\big)^{3/2}\Big)$ regret.

연구 동기 및 목표

• 사용자가 불만족스러운 상호작용 후 영구적으로 이탈하는 상황을 모델링할 수 있는 맥락 기반 밴디트의 한계를 해결하기 위해.
• 동분산 보상 가정을 제거하기 위해 분산이 맥락에 따라 달라지도록 허용하기 위해.
• 사용자별 수용 수준과 맥락 기반 분산을 모두 처리할 수 있는 UCB 유형 알고리즘을 개발하기 위해.
• 이러한 현실적인 조건 하에서 제안된 정책의 손실를 이론적으로 경계하기 위해.

제안 방법

• 사용자 수용 수준을 모델링하여, 이 수준 이하의 보상이 발생하면 영구적인 이탈이 발생하도록 설정한다.
• 보상 분산을 맥락 기반 함수로 허용하여 현실 데이터의 이종분산성을 반영한다.
• 이종분산성과 이탈 구조에 맞춘 상위 신뢰구간을 활용해 HR-UCB 알고리즘을 설계한다.
• 다양한 보상 분산을 고려한 맥락 인식 신뢰구간을 통합한다.
• 이탈과 이종분산성 존재 하에서의 불확실성 제어를 위해 고확률 농도 경계를 활용한다.
• 모델의 제약 조건 하에서 비최적 행동의 누적 영향을 분석함으로써 손실 경계를 증명한다.

실험 결과

연구 질문

• RQ1 불만족으로 인한 사용자 이탈을 고려할 수 있도록 맥락 기반 밴디트 모델을 어떻게 확장할 수 있는가?
• RQ2 맥락 기반 보상 분산이 순차적 결정 문제에서 손실에 어떤 영향을 미치는가?
• RQ3 이종분산 보상과 사용자 이탈 모두를 고려할 때 저손실을 유지할 수 있는 UCB 기반 정책을 설계할 수 있는가?
• RQ4 이러한 복합 제약 조건 하에서 달성 가능한 이론적 손실 경계는 무엇인가?
• RQ5 개별 사용자 수용 임계값은 장기적 학습 성능에 어떤 영향을 미치는가?

주요 결과

• HR-UCB 알고리즘은 고확률 손실 경계 $\mathcal{O}\Big(\sqrt{{T}}\big(\log({T})\big)^{3/2}\Big)$를 달성하며, 이는 비선형이면서 거의 최적에 가까운 수준이다.
• 모델은 현실 세계 현상인 사용자 이탈과 이종분산 보상 분산을 성공적으로 반영한다.
• 손실 경계는 맥락 기반 분산과 사용자별 수용 임계값을 모두 고려한다.
• 이론적 분석을 통해 사용자가 열악한 상호작용 후 이탈하더라도 알고리즘이 성능을 유지함을 확인한다.
• 실제 행동 및 통계적 제약 조건을 통합함으로써 표준 맥락 기반 밴디트보다 향상된 성능을 달성한다.