[논문 리뷰] Budget-Constrained Bandits over General Cost and Reward Distributions

Semih Çaycı, Atilla Eryılmaz외 1명|arXiv (Cornell University)|2020. 02. 29.

Advanced Bandit Algorithms Research참고 문헌 30인용 수 5

한 줄 요약

이 논문은 일반적이고 상관관계가 있으며 잠재적으로 꼬리가 무거운 비용-보상 쌍을 가진 예산 제약 하에서의 의사결정을 위한 새로운 밴딧 알고리즘을 제안한다. 비용-보상 상관관계를 활용하기 위해 선형 최소 제곱 오차(LMMSE) 추정을 사용함으로써, $(2+\gamma)$-모멘트 조건 하에서 $O(\log B)$의 손실을 달성하며, 공동 정규분포의 경우 상수 인자까지 최적인 문제에 의존적인 경계를 제공한다.

ABSTRACT

We consider a budget-constrained bandit problem where each arm pull incurs a random cost, and yields a random reward in return. The objective is to maximize the total expected reward under a budget constraint on the total cost. The model is general in the sense that it allows correlated and potentially heavy-tailed cost-reward pairs that can take on negative values as required by many applications. We show that if moments of order $(2+γ)$ for some $γ> 0$ exist for all cost-reward pairs, $O(\log B)$ regret is achievable for a budget $B>0$. In order to achieve tight regret bounds, we propose algorithms that exploit the correlation between the cost and reward of each arm by extracting the common information via linear minimum mean-square error estimation. We prove a regret lower bound for this problem, and show that the proposed algorithms achieve tight problem-dependent regret bounds, which are optimal up to a universal constant factor in the case of jointly Gaussian cost and reward pairs.

연구 동기 및 목표

• 각 암을 선택할 때 랜덤한 비용이 발생하고 랜덤한 보상을 얻는 예산 제약 하에서의 다항 밴딧 문제에 도전한다.
• 유계가 아니며 상관관계가 있고 꼬리가 두꺼운 비용-보상 분포가 존재하는 상황에서의 학습 알고리즘을 개발하여 날카운 손실 경계를 달성한다.
• LMMSE 추정을 통해 비용과 보상 간의 상관관계를 이용하여 학습 효율성과 손실 성능을 향상시킨다.
• 손실의 하한 경계를 확립하고, 제안된 알고리즘이 문제에 의존적인 설정에서 최적 또는 거의 최적의 성능을 달성함을 증명한다.
• 기존의 밴딧 이론을 결정론적 또는 유계 지원을 초과하는 일반적인 비용-보상 분포로 확장한다.

제안 방법

• 각 암에 대해 비용과 보상 간의 상관관계를 추출하고 활용하기 위해 선형 최소 제곱 오차(LMMSE) 추정을 사용한다.
• 진짜 비용-보상 분산을 대체로 사용하는 LMMSE 추정기를 사용하는 학습 알고리즘을 설계하여 상관관계 하에서 추정 정확도를 향상시킨다.
• 공분산과 분산의 경험적 추정기의 농도 부등식을 적용하여 추정 오차를 높은 확률로 경계한다.
• 추정 오차와 샘플링 비효율성 간의 분해를 사용하여 비용-보상 쌍의 모멘트 조건을 활용해 손실 경계를 유도한다.
• LMMSE 계수와 잔차 분산의 신뢰성 있는 추정을 보장하기 위해 표본 크기의 안정성 조건을 도입한다.
• 예산 제약 하에서 탐색과 이용을 균형 잡기 위해 추정된 비용-보상 상관관계와 분산을 통합한 수정된 UCB 스타일 알고리즘을 사용한다.

실험 결과

연구 질문

• RQ1 일반적이고 상관관계가 있으며 잠재적으로 꼬리가 두꺼운 비용-보상 쌍을 가진 예산 제약 하에서 $O(\log B)$의 손실을 달성할 수 있는가?
• RQ2 이러한 설정에서 비용과 보상 간의 상관관계를 어떻게 활용하여 손실을 줄일 수 있는가?
• RQ3 이 문제에 대한 기본적인 한계(하한 경계)는 무엇이며, 알고리즘은 얼마나 그에 가까이 갈 수 있는가?
• RQ4 공동 정규분포 비용-보상 쌍의 경우 제안된 알고리즘이 상수 인자까지 최적의 손실 경계를 달성할 수 있는가?
• RQ5 실제로 LMMSE 계수와 잔차 분산의 신뢰성 있는 추정을 보장하기 위해 필요한 표본 크기 조건은 무엇인가?

주요 결과

• 비용-보상 쌍이 $2+\gamma$ 차 모멘트를 유한하게 가지는 조건 하에서 제안된 알고리즘이 $O(\log B)$의 손실을 달성한다. 여기서 $\gamma > 0$이다.
• LMMSE 추정을 통한 비용-보상 상관관계의 활용으로, 공동 정규분포 비용-보상 쌍의 경우 상수 인자까지 최적인 문제에 의존적인 손실 경계를 달성한다.
• 예산 제약 하에서의 밴딧 문제에 대해 손실 하한 경계를 확립하였으며, 정규분포의 경우 상한 경계와 상수 인자까지 일치한다.
• 농도 분석 결과, 비용의 분산을 포함한 안정성 조건을 만족하는 표본 크기일 경우, LMMSE 추정기와 그 분산 추정치가 높은 확률로 수렴함을 보였다.
• $(2+\gamma)$-모멘트가 존재하는 한 꼬리가 두꺼운 분포에 대해서도 강건하여, 이는 유계 또는 경량 꼬리 가정을 초월한 적용 가능성을 넓힌다.
• 특히 비용과 보상 간의 강한 의존성이 있는 설정에서, 비용-보상 상관관계를 활용하지 않는 기존 접근법보다 알고리즘이 뛰어난 성능을 보였다.