[논문 리뷰] Improving Regret Bounds for Combinatorial Semi-Bandits with Probabilistically Triggered Arms and Its Applications

Qinshi Wang, Wei Chen|arXiv (Cornell University)|2017. 03. 05.

Advanced Bandit Algorithms Research인용 수 35

한 줄 요약

이 논문은 조합적 다익음 밴드잇(Combinatorial Multi-Armed Bandits)에서 확률적으로 촉발되는 암초(arms)를 가진 CMAB-T를 고전적 다익음 밴드잇(MAB)으로 변환하는 새로운 감소 프레임워크를 제안한다. 이는 더 날카운 리그레트 경계를 가능하게 한다. 확률적 촉발과 체르노프 경계를 활용하여, MAB에서의 어떤 리그레트 하한도 CMAB-T에서 해당 하한에 비례하여 $ p^{-1} $ 배로 확장될 수 있음을 보여주는 리그레트 전이 원칙을 수립한다. 여기서 $ p $ 는 촉발 확률이다.

ABSTRACT

We study combinatorial multi-armed bandit with probabilistically triggered arms (CMAB-T) and semi-bandit feedback. We resolve a serious issue in the prior CMAB-T studies where the regret bounds contain a possibly exponentially large factor of $1/p^*$, where $p^*$ is the minimum positive probability that an arm is triggered by any action. We address this issue by introducing a triggering probability modulated (TPM) bounded smoothness condition into the general CMAB-T framework, and show that many applications such as influence maximization bandit and combinatorial cascading bandit satisfy this TPM condition. As a result, we completely remove the factor of $1/p^*$ from the regret bounds, achieving significantly better regret bounds for influence maximization and cascading bandits than before. Finally, we provide lower bound results showing that the factor $1/p^*$ is unavoidable for general CMAB-T problems, suggesting that the TPM condition is crucial in removing this factor.

연구 동기 및 목표

• 조합적 다익음 밴드잇에서 확률적으로 촉발되는 암초를 가진 CMAB-T에서 고전적 다익음 밴드잇(MAB)으로의 공식적인 감소를 수립하기 위해.
• 기존의 MAB 리그레트 하한을 CMAB-T로 전이하여, CMAB-T 설정에서의 분석을 향상시키기 위해.
• 특히 매 라운드에 일부 암초만 활성화될 경우, 확률적 촉발이 리그레트에 미치는 영향을 분석하기 위해.
• MAB와 CMAB-T의 리그레트 간의 정량적 관계를 유도하여, CMAB-T 리그레트가 최소 $ \frac{1}{2}p^{-1}L(\frac{1}{2}pT_{\text{CMAB}}) $ 임을 보여주며, 여기서 $ L $ 은 MAB 리그레트 하한이다.
• 일부 조건 하에서, 큰 갭 $ \Delta \geq M $ 을 가진 비최적 행동을 선택할 확률이 $ O(t^{-2}) $ 로 유계임을 증명하여 유한한 기대 리그레트를 보장하기 위해.

제안 방법

• 병행하여 MAB와 CMAB-T 인스턴스를 실행하는 감소 알고리즘(Algorithm LABEL:alg:reduction)을 제안하며, 각 라운드 $ t $ 에서 기본 암초가 촉발되었는지를 추적하기 위해 베르누이 지표 $ \gamma_t $ 를 사용한다.
• 곱셈형 체르노프 경계를 사용하여, $ pT_{\text{CMAB}} \geq 6 $ 일 경우, 실질적인 MAB 라운드 수 $ T_{\text{MAB}} $ 가 최소 $ \frac{1}{2}pT_{\text{CMAB}} $ 이상일 확률이 최소 $ \frac{1}{2} $ 임을 보여준다.
• 환경 인스턴스에 대한 분포 $ \mathcal{D} $ 를 정의하고, 이를 통해 감소 하에 MAB와 CMAB-T의 기대 리그레트 간의 관계를 $ \mathbb{E}[\text{Reg}_{\text{CMAB}}] = p^{-1} \mathbb{E}[\text{Reg}_{\text{MAB}}] $ 라는 항등식으로 연결한다.
• 보상 함수의 유계 부드러움(Condition 6)과 $ \infty $-노름 성질을 적용하여 추정된 보상과 진짜 보상 간의 차이를 통제한다.
• 추정 오차를 통제하고 리그레트에 대한 고확률 경계를 도출하기 위해 '좋은' 샘플링 및 촉발 사건($ \mathcal{N}^\text{s}_t $, $ \mathcal{N}^\text{t}_t $) 을 도입한다.
• 농도 부등식과 신뢰구간의 로그 스케일링을 사용하여, 특히 $ N_{i,q_i,t-1} \geq \ell_T(\Delta, q_i) $ 일 경우 비최적 행동이 선택되는 횟수를 유계로 제한한다.

실험 결과

연구 질문

• RQ1 고전적 MAB에서의 리그레트 경계를, 확률적으로 촉발되는 암초를 가진 더 복잡한 CMAB-T 설정으로 어떻게 전이할 수 있는가?
• RQ2 기존의 MAB 리그레트 하한이 주어졌을 때, 촉발 확률 $ p $ 와 CMAB-T에서의 결과 리그레트 간의 관계는 무엇인가?
• RQ3 비최적 행동을 선택할 확률이 큰 갭 $ \Delta \geq M $ 을 가진 상태에서 어떻게 제한되어야 유한한 기대 리그레트를 확보할 수 있는가?
• RQ4 감소 프레임워크가 CMAB-T에서의 암초의 확률적 촉발을 고려하면서도 MAB의 리그레트 구조를 유지할 수 있는가?
• RQ5 보상 함수의 부드러움이 추정 오차를 통제하고 최적 행동 수렴을 보장하는 데 어떤 역할을 하는가?

주요 결과

• 확률적 촉발이 일어나는 라운드 수 $ pT_{\text{CMAB}} \geq 6 $ 를 만족할 경우, MAB의 실질적 라운드 수 $ T_{\text{MAB}} $ 가 최소 $ \frac{1}{2}pT_{\text{CMAB}} $ 이상일 확률이 최소 $ \frac{1}{2} $ 이다.
• 모든 CMAB-T 알고리즘 $ A $ 에 대해, 기대 리그레트는 $ \mathbb{E}_{D \sim \mathcal{D}}[\text{Reg}_{\text{CMAB},D}^A(T_{\text{CMAB}})] \geq \frac{1}{2}p^{-1}L(\frac{1}{2}pT_{\text{CMAB}}) $ 를 만족한다. 여기서 $ L $ 은 MAB 리그레트 하한이다.
• 모든 암초가 충분한 추출 수를 확보한 상태에서, 갭 $ \Delta_{S_t} \geq M $ 인 비최적 행동 $ S_t $ 를 선택할 확률은 $ (2 + j_{\max}(M))mt^{-2} $ 이하로 유계이며, 이는 합산 가능한 尾 꼬리 꼬리 부분을 형성한다.
• 간격 $ \Delta_{S_t} \geq M $ 인 행동으로 인한 총 리그레트는 $ m \cdot (\lceil -\log_2 f^{-1}(M) \rceil_0 + 2) \cdot \frac{\pi^2}{6} \cdot \Delta_{\max} $ 이하로 유계이며, 이는 $ T $ 와 무관하게 유한하다.
• 감소는 동일한 환경 분포 하에서 CMAB-T의 리그레트가 MAB 리그레트의 $ p^{-1} $ 배 이상임을 보장하여 하한 전이의 날카로운 성격을 확립한다.
• 분석 결과, '좋은' 샘플링 및 촉발 조건 하에서, 큰 갭을 가진 비최적 행동을 선택할 확률은 무시할 수 없을 정도로 낮아져 최적 행동 선택으로의 수렴이 보장된다.