[논문 리뷰] Batch-Size Independent Regret Bounds for Combinatorial Semi-Bandits with Probabilistically Triggered Arms or Independent Arms

Xutong Liu, Jinhang Zuo외 4명|arXiv (Cornell University)|2022. 08. 31.

Advanced Bandit Algorithms Research인용 수 6

한 줄 요약

이 논문은 새로운 분산 인지 알고리즘(BCUCB-T)과 확률적 트리거링 암을 위한 새로운 부드러움 조건(TPVM)을 도입하여 조합적 반반밴드잇에서 배치 크기 K에 대한 회귀 의존도를 O(K)에서 O(log K) 또는 O(log²K)로 감소시켜, 배치 크기 독립적 회귀 한계를 제안한다. 독립적인 암에 대해서는 하위지수 신뢰구간을 갖는 SESCB를 제안하여 완전히 배치 크기 독립적 회귀를 달성하며, 이는 이전의 결과보다 약 20% 향상된 성능을 보인다.

ABSTRACT

In this paper, we study the combinatorial semi-bandits (CMAB) and focus on reducing the dependency of the batch-size $K$ in the regret bound, where $K$ is the total number of arms that can be pulled or triggered in each round. First, for the setting of CMAB with probabilistically triggered arms (CMAB-T), we discover a novel (directional) triggering probability and variance modulated (TPVM) condition that can replace the previously-used smoothness condition for various applications, such as cascading bandits, online network exploration and online influence maximization. Under this new condition, we propose a BCUCB-T algorithm with variance-aware confidence intervals and conduct regret analysis which reduces the $O(K)$ factor to $O(\log K)$ or $O(\log^2 K)$ in the regret bound, significantly improving the regret bounds for the above applications. Second, for the setting of non-triggering CMAB with independent arms, we propose a SESCB algorithm which leverages on the non-triggering version of the TPVM condition and completely removes the dependency on $K$ in the leading regret. As a valuable by-product, the regret analysis used in this paper can improve several existing results by a factor of $O(\log K)$. Finally, experimental evaluations show our superior performance compared with benchmark algorithms in different applications.

연구 동기 및 목표

• 조합적 반반밴드잇에서 배치 크기 K에 대한 회귀 한계 의존도를 줄이거나 제거하는 것.
• 평균 암 값이 0 또는 1에 가까운 경계 영역에서 보상 역학을 더 잘 반영하는 새로운 부드러움 조건(TPVM)을 개발하는 것.
• 실제 분산에 적응하는 분산 인지 신뢰구간을 설계하여 고민감 영역에서의 회귀 기여도를 줄이는 것.
• 독립적인 암을 가진 비트리거링 CMAB에서 하위지수 농도를 통해 완전히 배치 크기 독립적 회귀를 달성하는 것.
• 정교한 분석을 통해 기존의 회귀 한계를 O(log K) 정도로 향상시키는 것.

제안 방법

• 이전의 TPM 조건보다 더 강력한 대안으로, 지역적 보상 민감도를 경계 근처에서 포착하는 트리거링 확률 및 분산 조절(TPVM) 조건을 도입한다.
• 실제 분산에 비례하여 스케일링되는 분산 인지 신뢰구간을 갖는 UCB 스타일 알고리즘인 BCUCB-T를 제안하여 고민감 영역에서의 회귀를 감소시킨다.
• TPVM 조건을 활용해 경계 영역에서의 회귀 기여도를 제한함으로써 K에 대한 의존도를 O(K)에서 O(log K) 또는 O(log²K)로 감소시킨다.
• 독립적인 암에 대해 TPVM의 비트리거링 변형인 VM 조건을 도입하고, 더 좁은 하위지수 신뢰구간을 갖는 SESCB를 설계한다.
• 하위지수 농도 부등식을 사용하여 총 회귀를 가장 적게 관측된 암에만 기반해 제한함으로써 K에 대한 의존도를 제거한다.
• 기존의 결과들인 [11, 23]과 같은 논문들에 대해 O(log K) 정도로 향상된 정교한 회귀 분석을 수행한다.

실험 결과

연구 질문

• RQ1 확률적 트리거링 암을 가진 조합적 반반밴드잇에서 배치 크기 K에 대한 회귀 한계 의존도를 줄일 수 있는가?
• RQ2 분산을 고려한 새로운 부드러움 조건이 경계 영역에서의 회귀 한계를 향상시키는가?
• RQ3 분산 인지 신뢰구간이 CMAB-T에서 O(K) 요소를 제거할 수 있는가?
• RQ4 독립적인 암을 가진 비트리거링 CMAB에서 완전히 배치 크기 독립적 회귀를 달성할 수 있는가?
• RQ5 제안된 분석이 기존의 회귀 한계를 O(log K) 정도로 향상시킬 수 있는가?

주요 결과

• BCUCB-T는 TPVM 조건 하에서 배치 크기 K에 대한 회귀 의존도를 O(K)에서 O(log K) 또는 O(log²K)로 감소시킨다.
• cascading bandits와 온라인 影响력 확산 문제에서 새로운 회귀 한계는 이전 결과보다 훨씬 더 날카롭다.
• SESCB는 VM 조건과 하위지수 신뢰구간을 활용하여 독립적인 암을 가진 비트리거링 CMAB에서 완전히 배치 크기 독립적 회귀를 달성한다.
• 실증 결과에 따르면, 200,000라운드 동안 cascading bandits에서 BCUCB-T는 CUCB와 BCUCB-T보다 약 20% 낮은 회귀를 기록한다.
• 확률적 최대 커버리지 문제에서 SESCB는 BCUCB-T와 ESCB보다 약 15% 낮은 회귀를 기록한다.
• 정교한 회귀 분석은 기존의 결과들에 대해 O(log K) 정도로 향상시키며, [11, 23]과 같은 이전 연구들에 유리하게 작용한다.