[논문 리뷰] Adaptive Exploration-Exploitation Tradeoff for Opportunistic Bandits

Huasen Wu, Xueying Guo외 1명|arXiv (Cornell University)|2017. 09. 12.

Advanced Bandit Algorithms Research참고 문헌 15인용 수 15

한 줄 요약

이 논문은 외부 조건(예: 부하 또는 가격)에 따라 비최적 암의 손실이 변하는 '기회적 밴디트( opportunistic bandits )'를 소개한다. 이는 손실이 낮을 때(예: 저부하/저가격 시기) 탐색을 늘리는 적응형 Upper-Confidence-Bound(UCB) 알고리즘인 AdaUCB를 제안하며, UCB보다 더 작은 계수를 가진 O(log T) 손실을 달성하고, 저부하 조건에서 탐색 비용이 0일 경우 O(1) 손실을 달성한다.

ABSTRACT

In this paper, we propose and study opportunistic bandits - a new variant of bandits where the regret of pulling a suboptimal arm varies under different environmental conditions, such as network load or produce price. When the load/price is low, so is the cost/regret of pulling a suboptimal arm (e.g., trying a suboptimal network configuration). Therefore, intuitively, we could explore more when the load/price is low and exploit more when the load/price is high. Inspired by this intuition, we propose an Adaptive Upper-Confidence-Bound (AdaUCB) algorithm to adaptively balance the exploration-exploitation tradeoff for opportunistic bandits. We prove that AdaUCB achieves $O(\log T)$ regret with a smaller coefficient than the traditional UCB algorithm. Furthermore, AdaUCB achieves $O(1)$ regret with respect to $T$ if the exploration cost is zero when the load level is below a certain threshold. Last, based on both synthetic data and real-world traces, experimental results show that AdaUCB significantly outperforms other bandit algorithms, such as UCB and TS (Thompson Sampling), under large load/price fluctuations.

연구 동기 및 목표

• 기존 밴디트 모델에서 비최적 암의 손실이 일정한 데 비해, 네트워크 부하나 상품 가격과 같은 외부 조건에 따라 손실이 변하는 시나리오를 모델링하여 이러한 제한을 해결하고자 한다.
• 최적 암은 고정되어 있지만 손실이 시간에 따라 변하는 환경적 조건에 따라 달라지는 새로운 밴디트 프레임워크인 '기회적 밴디트'를 제안하고자 한다.
• 저손실 기간(예: 저부하 또는 저가격 시기)을 활용해 탐색을 늘림으로써 전체 손실을 줄이는 적응형 알고리즘을 설계하고자 한다.
• 제안된 AdaUCB 알고리즘이 표준 UCB 및 톰슨 샘플링보다 증명 가능하게 낮은 손실을 달성할 수 있음을 이론적으로 분석하고 실증적으로 검증하고자 한다. 이는 부하 변동이 발생하는 상황에서의 성능을 대상으로 한다.

제안 방법

• 비최적 암의 손실이 시간에 따라 변하는 부하 또는 가격 조건에 따라 달라지는 기회적 밴디트 모델을 제안하며, 이 조건은 암 선택 이전에 공개된다.
• 부하 수준에 따라 탐색을 동적으로 조절하는 AdaUCB를 설계한다. 저부하일 경우(저손실) 탐색을 늘리고, 고부하일 경우는 이용을 늘린다.
• 낮은 부하 및 높은 부하 영역을 정의하기 위해 부하 임계값 $ l^{(-)}_{\rho} $ 및 $ l^{(+)}_{\rho} $ 를 사용하며, $ \rho $ 는 잘라내기 위한 尾確率를 제어한다.
• 부하에 따라 손실 스케일링을 반영한 UCB 신뢰구간을 수정하여, 저손실 기간 동안 불확실성이 높은 암을 우선적으로 선택하도록 한다.
• 성능 안정성 향상과 극단적 부하 값에 대한 민감도 감소를 위해 절단된 부하 분포를 사용한다.
• 베르누이 및 베타 분포를 가진 부하를 가진 시뮬레이션 데이터와 MVNO 시스템의 실제 네트워크 성능 데이터를 활용한 실세계 트레이스를 사용해 알고리즘을 평가한다.

실험 결과

연구 질문

• RQ1 환경 조건(예: 부하 또는 가격)에 따라 비최적 암의 비용이 변하는 밴디트 문제에서, 적응형 탐색-이용 전략이 손실을 줄일 수 있는가?
• RQ2 저손실 기간(예: 저네트워크 부하 또는 저가격)을 활용해 탐색을 늘임으로써 표준 UCB보다 증명 가능한 더 나은 손실 성능를 달성할 수 있는가?
• RQ3 탐색 비용이 저부하 조건에서 0일 경우, 제안된 AdaUCB 알고리즘이 시간 영역 T에 대해 O(1) 손실을 달성할 수 있는가?
• RQ4 합성 및 실세계 환경에서 큰 부하 변동이 발생할 경우, AdaUCB는 UCB 및 톰슨 샘플링에 비해 손실 감소 측면에서 어떻게 비교되는가?
• RQ5 부하 분포에 대한 사전 지식이 없이도 알고리즘이 잘 작동할 수 있는가? 이는 E-AdaUCB 변종을 통해 입증된다.

주요 결과

• AdaUCB는 전통적인 UCB보다 더 작은 상수 계수를 가진 O(log T) 손실을 달성하여 이론적 손실 경계 향상을 입증한다.
• 부하가 임계값 이하일 경우 탐색 비용이 0인 조건에서 AdaUCB는 T에 대해 O(1) 손실을 달성하며, 유리한 환경에서 거의 최적의 성능를 보인다.
• 이진 및 베타 분포를 가진 부하를 가진 합성 실험에서, AdaUCB는 UCB(α) 및 톰슨 샘플링보다 뚜렷이 뛰어나며, 특히 높은 부하 변동에서 두각을 나타낸다.
• 실세계 MVNO 트레이스에서 AdaUCB는 UCB(α)의 손실의 약 1/3으로 줄여 성능을 높였다. 이는 강력한 실용적 효과를 보여준다.
• 부하 분포에 대한 사전 지식이 필요 없는 E-AdaUCB 변종은 실생활에서 AdaUCB와 거의 동일한 성능를 보이며, 강인성과 실용적 적용 가능성을 입증한다.
• 결과는 부하 변동을 활용해 탐색을 적응적으로 조정함으로써 상당한 성능 향상이 이뤄질 수 있음을 확인하며, 특히 크고 빈번한 부하 변동을 보이는 환경에서 두각을 나타낸다.