[논문 리뷰] A Near-Optimal Change-Detection Based Algorithm for Piecewise-Stationary Combinatorial Semi-Bandits

Huozhi Zhou, Lingda Wang외 2명|arXiv (Cornell University)|2019. 08. 27.

Advanced Bandit Algorithms Research참고 문헌 39인용 수 4

한 줄 요약

이 논문은 조각별로 정적인 조합적 반반밴드이트 문제를 위한 near-optimal 알고리즘인 GLR-CUCB를 제안한다. 이 알고리즘은 CUCB 알고리즘과 일반화된 우도 비율(Goal: GLR) 변화점 검출기의 조합을 통해 분포 변화를 적응적으로 탐지한다. 이 방법은 $\mathcal{O}(√{NKT\log T})$의 리그레트 상한을 달성하며, 유도된 $o(√{NKT})$ 최소 최대 하한과 거의 일치한다. 또한 합성 및 실세계 데이터셋에서 최신 기준 알고리즘들을 능가한다.

ABSTRACT

We investigate the piecewise-stationary combinatorial semi-bandit problem. Compared to the original combinatorial semi-bandit problem, our setting assumes the reward distributions of base arms may change in a piecewise-stationary manner at unknown time steps. We propose an algorithm, exttt{GLR-CUCB}, which incorporates an efficient combinatorial semi-bandit algorithm, exttt{CUCB}, with an almost parameter-free change-point detector, the \emph{Generalized Likelihood Ratio Test} (GLRT). Our analysis shows that the regret of exttt{GLR-CUCB} is upper bounded by $\mathcal{O}(\sqrt{NKT\log{T}})$, where $N$ is the number of piecewise-stationary segments, $K$ is the number of base arms, and $T$ is the number of time steps. As a complement, we also derive a nearly matching regret lower bound on the order of $Ω(\sqrt{NKT}$), for both piecewise-stationary multi-armed bandits and combinatorial semi-bandits, using information-theoretic techniques and judiciously constructed piecewise-stationary bandit instances. Our lower bound is tighter than the best available regret lower bound, which is $Ω(\sqrt{T})$. Numerical experiments on both synthetic and real-world datasets demonstrate the superiority of exttt{GLR-CUCB} compared to other state-of-the-art algorithms.

연구 동기 및 목표

• 보상 분포가 알려지지 않은 시간에 갑작스럽게 변화하는 비정적 환경에서 조합적 다중 암반 밴드이트 문헌의 격차를 해결하기 위해.
• 변화점이나 분포 매개변수에 대한 사전 지식 없이도 조합적 반반밴드이트에서 분포 변화를 탐지할 수 있는 효율적이고 적응적인 알고리즘을 개발하기 위해.
• 조각별 정적 조합적 반반밴드이트 문제에 대해 날카운 리그레트 하한을 설정하여 문제의 본질적 어려움을 밝히기 위해.
• 합성 및 실세계 환경에서 기존 최신 기준 방법들과의 비교를 통해 제안된 알고리즘의 우수성을 경험적으로 검증하기 위해.

제안 방법

• 알고리즘은 기저 암반 보상 분포를 모니터링하기 위해 CUCB(조합적 상한 신뢰도) 프레임워크와 일반화된 우도 비율(Goal: GLR) 검사를 결합한 변화점 검출기로 구성된다.
• GLR 검출기는 변화의 크기나 분포 매개변수에 대한 사전 지식 없이도 기저 암반의 평균 보상 변화를 식별한다.
• 변화를 감지한 후, 알고리즘은 새로운 분포 하에서 최적의 슈퍼암반을 재추정하기 위해 CUCB 절차를 전역적으로 재시작한다.
• 이 방법은 거의 매개변수 없는 방식으로 설계되어, 유의미도 수준 $\delta$와 신뢰 임계값 $p$와 같은 소수의 하이퍼파rameter에 의존한다.
• 이론적 분석을 통해 GLR-CUCB의 리그레트는 $\mathcal{O}(\sqrt{NKT\log T})$로 상한이 제시되며, 여기서 $N$은 세그먼트 수, $K$는 기저 암반 수, $T$는 시간 수평선이다.
• 정보 이론적 하한으로서, 조각별 정적 MAB 및 CMAB에 대해 $\Omega(\sqrt{NKT})$의 하한이 도출되었으며, 이는 제안된 알고리즘이 거의 최적임을 보여준다.

실험 결과

연구 질문

• RQ1 효율적이고 매개변수 없는 변화 탐지 메커니즘이 조합적 반반밴드이트 알고리즘에 효과적으로 통합되어 비정적 보상 분포를 다룰 수 있는가?
• RQ2 조각별 정적 조합적 반반밴드이트 문제의 기본 한계(최소 최대 리그레트)는 무엇이며, 알고리즘이 이에 얼마나 가까이 접근할 수 있는가?
• RQ3 제안된 GLR-CUCB 알고리즘이 실생활에서 변화점 탐지가 실제 분포 변화와 정확히 일치하지 않을 경우에도 near-optimal 리그레트를 달성하는가?
• RQ4 알 수 없고 비정규적인 변화가 존재하는 비정적 환경에서 GLR-CUCB의 성능은 오라클 및 최신 기준 알고리즘과 비교해 어떻게 되는가?

주요 결과

• GLR-CUCB는 $\mathcal{O}(√{NKT\log T})$의 리그레트 상한을 달성하며, 이는 최소 최대 하한 $o(√{NKT})$와 거의 순서적으로 최적임을 의미한다.
• 이전에 알려진 $o(√{T})$ 하한보다 더 날카운 최소 최대 리그레트 하한이 도출되었으며, 이는 문제의 복잡성에서 $N$과 $K$의 역할을 부각시킨다.
• 합성 데이터($T=5000$, $K=6$, $m=2$, $N=5$)에서 GLR-CUCB는 오라클-CUCB와 거의 동일한 성능을 보이며, 다른 알고리즘보다 뚜렷하게 뛰어나다. 이는 가정 4.1(세그먼트 길이에 대한)이 위반된 경우에도 성립한다.
• Yahoo! 데이터셋($T=22500$, $K=6$, $m=2$, $N=9$)에서 GLR-CUCB는 모든 기준 알고리즘을 능가하며 오라클-CUCB와의 격차도 작게 유지하여 실세계 비정적 환경에서의 강건성을 입증한다.
• 놀랍게도, LR-GLR-CUCB의 변종은 일부 경우에서 오라클-CUCB를 능가한다. 이는 변화가 작고 최적의 슈퍼암반에 영향을 주지 않을 경우 전역 재시작이 최적일 수 없음을 시사한다.
• 실험 결과는 이론적 가정의 경미한 위반 조건에서도 GLR를 통한 변화점 탐지가 효과적임을 확인하였으며, 이는 강력한 실용적 강건성을 시사한다.