[논문 리뷰] Censored Semi-Bandits: A Framework for Resource Allocation with Censored Feedback

Arun Kumar Verma, Manjesh K. Hanawal외 2명|arXiv (Cornell University)|2019. 09. 04.

Advanced Bandit Algorithms Research인용 수 7

한 줄 요약

이 논문은 손실 관측이 은폐된 임계값 기반으로 이루어지는 순차적 자원 배분을 위한 새로운 프레임워크인 Censored Semi-Bandits(CSB)를 소개한다: 손실은 자원 배분이 임계값 이하일 경우에만 관측된다. 저자들은 CSB가 Multiple-Play Multi-Armed Bandits(MP-MAB) 및 Combinatorial Semi-Bandits와 등가임을 입증하여 기존 알고리즘의 적응을 통해 최적의 리그레트 보장을 가능하게 하였으며, 실험 결과를 통해 리그레트의 비선형 증가가 관찰되었다.

ABSTRACT

In this paper, we study censored Semi-Bandits, a novel variant of the semi-bandits problem. The learner is assumed to have a fixed amount of resources, which it allocates to the arms at each time step. The loss observed from an arm is random and depends on the amount of resources allocated to it. More specifically, the loss equals zero if the allocation for the arm exceeds a constant (but unknown)threshold that can be dependent on the arm. Our goal is to learn a feasible allocation that minimizes the expected loss. The problem is challenging because the loss distribution and threshold value of each arm are unknown. We study this novel setting by establishing its `equivalence' to Multiple-Play Multi-Armed Bandits(MP-MAB) and Combinatorial Semi-Bandits. Exploiting these equivalences, we derive optimal algorithms for our setting using existing algorithms for MP-MABand Combinatorial Semi-Bandits. Experiments on synthetically generated data validate performance guarantees of the proposed algorithms.

연구 동기 및 목표

• 경찰 순찰이나 사냥 통제와 같은 실제 응용에서 관찰되는 은폐된 피드백 기반의 순차적 자원 배분 문제를 모델링하기 위해.
• 손실이 특정 암부별 은폐된 임계값 이하일 경우에만 관측되는 임계값 기반 행동 모델을 정식화하기 위해.
• 알 수 없는 임계값과 평균 손실 하에서 기대 손실을 최소화하는 알고리즘을 개발하고, 증명 가능한 리그레트 보장을 확보하기 위해.
• 기존의 정적 역사 데이터 기반 접근과 게임 이론 모델 간 격차를 메우기 위해, 실용적이고 비적대적인 학습 프레임워크를 제안하기 위해.
• 다양한 자원 및 임계값 조건 하에서의 시뮬레이션 실험을 통해 제안된 알고리즘의 성능을 검증하기 위해.

제안 방법

• K개의 암부, Q개의 나누기 가능한 자원, 각 암부당 베르누이 분포를 따르는 손실을 가진 순차적 학습 문제로 Censored Semi-Bandit(CSB) 문제를 정식화한다.
• 임계값 기반 피드백 메커니즘을 도입: 암부 i에 대해 할당된 자원이 은폐된 임계값 θ_i 이하일 경우에만 손실이 관측된다.
• 동일한 임계값을 가진 CSB 문제와 Multiple-Play Multi-Armed Bandits(MP-MAB) 간의 등가성을 입증하여 MP-MAB 알고리즘의 활용이 가능함을 보여준다.
• 암부별로 다른 임계값을 가진 CSB 문제와 Combinatorial Semi-Bandits 간의 등가성을 입증하여 조합적 밴딧 알고리즘의 적응이 가능함을 보여준다.
• 임계값과 평균 손실 추정을 분리하여 효율적인 학습을 가능하게 하며, 두 변형 모두에 대해 UCB 및 토머슨 샘플링 기반 알고리즘을 사용한다.
• 이론적 리그레트 경계 유도: CSB-DT 알고리즘의 경우 E[R_T] ≤ O(K log T / ∇_min)이며, 여기서 ∇_min은 최적 및 비최적 배분 간의 최소 갭이다.

실험 결과

연구 질문

• RQ1 은폐된 임계값 기반 피드백을 반영하는 자원 배분 문제를 어떻게 모델링할 수 있으며, 이는 실제 행동 반응을 반영하는가?
• RQ2 Censored Semi-Bandit 프레임워크는 MP-MAB 및 조합적 밴딧과 같은 알려진 밴딧 설정으로 공식적으로 축소될 수 있는가?
• RQ3 알 수 없는 임계값과 평균 손실 하에서 CSB 프레임워크에서 학습하는 데 있어 최적의 리그레트 보장은 무엇인가?
• RQ4 자원 수와 임계값의 크기는 CSB에서 피드백 가용성과 학습 성능에 어떤 영향을 미치는가?
• RQ5 CSB 환경에서 토머슨 샘플링 기반 알고리즘이 UCB 기반 알고리즘보다 더 낮은 경험적 리그레트를 달성할 수 있는가?

주요 결과

• 동일한 임계값을 가진 CSB 프레임워크는 공식적으로 Multiple-Play Multi-Armed Bandits(MP-MAB)와 등가이며, 기존 MP-MAB 알고리즘을 최적의 리그레트 보장과 함께 활용할 수 있다.
• 암부별로 다른 임계값을 가진 CSB 프레임워크는 Combinatorial Semi-Bandits와 등가이며, 조합적 밴딧 알고리즘의 적응을 통해 최적 성능을 달성할 수 있다.
• CSB-DT 알고리즘의 기대 리그레트는 E[R_T] ≤ O(K log T / ∇_min)로 경계지어지며, 시간 범위 T에 대해 비선형 증가를 보임을 입증하였다.
• 경험적 결과는 자원 할당량 증가에 따라 피드백 감소(반반 밴딧에서 밴딧로의 전환)로 인해 리그레트가 증가함을 보여주며, 이는 이론적 예측을 뒷받침한다.
• 토머슨 샘플링 기반 CSB-DT 알고리즘이 UCB 기반 대안(CSB-DT-UCB)보다 시뮬레이션 실험에서 더 낮은 경험적 리그레트를 기록하여 더 뛰어난 성능을 보임을 확인하였다.
• 프레임워크는 임계값과 평균 손실 추정을 분리하여 효율적인 학습을 가능하게 하였으며, 향후 동시 추정을 위한 기반을 마련하였다.