[논문 리뷰] Combinatorial Sleeping Bandits with Fairness Constraints

Fengjiao Li, Jia Liu외 1명|arXiv (Cornell University)|2019. 01. 15.

Advanced Bandit Algorithms Research참고 문헌 31인용 수 8

한 줄 요약

이 논문은 복합 행동, 가용하지 않은 암(수면 중인 암), 그리고 각 암에 대한 최소 선택 비율 요구 조건을 포함하는 실세계 최적화 문제를 다루기 위해 새로운 조합형 수면 MAB 모델(공정성 제약을 포함, CSMAB-F)을 제안한다. 공정성 보장을 갖춘 학습(LFG) 알고리즘을 도입하여 탐색-이용 균형과 가용성 없는 암 상황에서의 공정성 제약을 동시에 처리하며, 타당성-최적성과 시간 평균 오차 상한 $rac{N}{2 heta} + rac{eta_1 hetarac{mNT heta heta T}{T}$를 달성한다. $ heta$를 조정함으로써 오차와 수렴 속도 사이의 경험적 트레이드오프를 관찰할 수 있다.

ABSTRACT

The multi-armed bandit (MAB) model has been widely adopted for studying many practical optimization problems (network resource allocation, ad placement, crowdsourcing, etc.) with unknown parameters. The goal of the player here is to maximize the cumulative reward in the face of uncertainty. However, the basic MAB model neglects several important factors of the system in many real-world applications, where multiple arms can be simultaneously played and an arm could sometimes be "sleeping". Besides, ensuring fairness is also a key design concern in practice. To that end, we propose a new Combinatorial Sleeping MAB model with Fairness constraints, called CSMAB-F, aiming to address the aforementioned crucial modeling issues. The objective is now to maximize the reward while satisfying the fairness requirement of a minimum selection fraction for each individual arm. To tackle this new problem, we extend an online learning algorithm, UCB, to deal with a critical tradeoff between exploitation and exploration and employ the virtual queue technique to properly handle the fairness constraints. By carefully integrating these two techniques, we develop a new algorithm, called Learning with Fairness Guarantee (LFG), for the CSMAB-F problem. Further, we rigorously prove that not only LFG is feasibility-optimal, but it also has a time-average regret upper bounded by $\frac{N}{2η}+\frac{β_1\sqrt{mNT\log{T}}+β_2 N}{T}$, where N is the total number of arms, m is the maximum number of arms that can be simultaneously played, T is the time horizon, $β_1$ and $β_2$ are constants, and $η$ is a design parameter that we can tune. Finally, we perform extensive simulations to corroborate the effectiveness of the proposed algorithm. Interestingly, the simulation results reveal an important tradeoff between the regret and the speed of convergence to a point satisfying the fairness constraints.

연구 동기 및 목표

• 실세계 응용에서 복합 행동, 수면 중인 암, 공정성 제약을 동시에 통합하는 통합된 MAB 모델의 부족을 해결하기 위해.
• 각 암이 최소한의 시간 비율로 선택되어야 하며, 이는 공정성을 확보하면서 수익을 최대화하는 새로운 CSMAB-F 프레임워크를 제시하기 위해.
• 탐색-이용 균형과 공정성 제약을 동시에 다루는 온라인 학습 알고리즘을 개발하기 위해.
• 제안된 알고리즘에 대한 타당성-최적성과 오차 상한의 이론적 보장을 증명하기 위해.
• 확장된 시뮬레이션을 통해 알고리즘을 검증하여, 오차와 공정성 제약 수렴 속도 사이의 트레이드오프를 규명하기 위해.

제안 방법

• CSMAB-F 모델은 표준 MAB을 확장하여 동시에 최대 $m$개의 암을 선택할 수 있도록 하며, 각 라운드에서 일부 암이 가용하지 않을 수 있고, 각 암에 대해 최소 선택 비율을 요구한다.
• 수면 중인 암이 존재하는 상황에서도 탐색-이용 균형을 관리하기 위해 상한 신뢰도 기반(UCB) 알고리즘을 확장한 온라인 학습 알고리즘이 도입된다.
• 가상 큐 기법을 사용하여 최소 선택 비율 위반에 대한 동적 페널티를 유지함으로써 공정성 제약을 강제한다.
• LFG 알고리즘은 UCB와 가상 큐를 통합하며, 조정 가능한 파라미터 $\theta$를 사용해 수익 극대화와 공정성 강제 사이의 균형을 조절한다.
• 오차 분석은 $N$, $m$, $T$, $eta_1$, $eta_2$, $ heta$에 의존하는 시간 평균 상한을 사용하며, $ heta$는 오차와 수렴 속도 사이의 트레이드오프를 제어한다.
• LFG의 성능 평가를 위해 $T = 2 \times 10^4$ 라운드 동안 시뮬레이션을 수행하였으며, 다양한 $ heta$ 값에 대해 평가하고 공정성 무시 기반 기준인 LLRS와 비교하였다.

실험 결과

연구 질문

• RQ1 복합 행동, 수면 중인 암, 공정성 제약을 동시에 모델링할 수 있는 통합된 MAB 프레임워크는 어떻게 설계할 수 있는가?
• RQ2 수면 중인 암과 복합 선택 조건이 존재하는 상황에서, 수익 극대화와 공정성 강제 사이의 균형을 효과적으로 달성할 수 있는 알고리즘 접근법은 무엇인가?
• RQ3 파라미터 $ heta$의 조정은 시간 평균 오차와 공정성 제약 수렴 속도 사이의 트레이드오프에 어떻게 영향을 미치는가?
• RQ4 제안된 CSMAB-F 모델에서 타당성과 오차에 대해 어떤 이론적 보장을 도출할 수 있는가?
• RQ5 유도된 오차 상한은 경험적으로 검증될 수 있으며, 관측된 시뮬레이션 결과와 비교해 얼마나 날카로운가?

주요 결과

• LFG는 타당성-최적성을 달성하여, 다양한 $ heta$ 값에서도 모든 암이 요구되는 최소 선택 비율을 일관되게 충족시킨다.
• 시뮬레이션 결과, $ heta$를 증가시킬수록 오차가 감소하며, $ heta \geq 100$일 경우 거의 영오차를 달성한다. 그러나 $ heta = 1000$일 경우 오차는 가장 낮지만 수렴 속도는 가장 느리다.
• 공정성 무시 기반 기준인 LLRS는 LFG보다 낮은 오차를 기록하지만, 공정성 제약을 위반한다—특히 암 1의 선택 비율이 요구 최소값 0.5 이하인 0.4로 떨어진다.
• LFG에서 $ heta = 100$일 경우 낮은 오차와 빠른 수렴 사이의 유리한 균형을 달성하여, $ heta = 1$과 $ heta = 1000$보다 실용적 트레이드오프 측면에서 뛰어난 성능을 보였다.
• 시뮬레이션에서 경험적 오차는 이론적 $\sqrt{\log T / T}$ 상한과는 달리 $\log T / T$ 경향을 보이며, 이는 상한이 날카롭지 않음을 시사한다.
• 이론적 오차 상한은 $\frac{N}{2\theta} + \frac{\beta_1\sqrt{mNT\log T} + \beta_2N}{T}$이며, $T$가 클수록 첫 번째 항이 지배적이며, 두 번째 항은 $T$가 증가함에 따라 감소한다.