[논문 리뷰] Combinatorial Semi-Bandit in the Non-Stationary Environment

Wei Chen, Liwei Wang외 2명|arXiv (Cornell University)|2020. 02. 10.

Advanced Bandit Algorithms Research참고 문헌 33인용 수 8

한 줄 요약

이 논문은 보상 분포가 시간에 따라 변화하는 비정상 환경에서 조합적 반반밴드이트(Combinatorial Semi-Bandits)에 대해 CUCB-SW 및 CUCB-BoB 알고리즘을 제안한다. 분포 변화에 적응하기 위해 적응형 탐색과 블록 기반 테스트를 활용함으로써, $\tilde{O}(m\tilde{N}T/\tilde{\Delta}_{\min})$의 거의 최적의 리그레트 한계를 달성한다(교체 경우), 그리고 $\tilde{O}(V^{1/3}T^{2/3})$의 거의 최적의 리그레트 한계를 달성한다(동적 경우). 이는 $N$ 또는 $V$의 파라미터가 알려져 있지 않은 경우에도 가능하다.

ABSTRACT

In this paper, we investigate the non-stationary combinatorial semi-bandit problem, both in the switching case and in the dynamic case. In the general case where (a) the reward function is non-linear, (b) arms may be probabilistically triggered, and (c) only approximate offline oracle exists \cite{wang2017improving}, our algorithm achieves $ ilde{\mathcal{O}}(\sqrt{\mathcal{S} T})$ distribution-dependent regret in the switching case, and $ ilde{\mathcal{O}}(\mathcal{V}^{1/3}T^{2/3})$ in the dynamic case, where $\mathcal S$ is the number of switchings and $\mathcal V$ is the sum of the total ``distribution changes''. The regret bounds in both scenarios are nearly optimal, but our algorithm needs to know the parameter $\mathcal S$ or $\mathcal V$ in advance. We further show that by employing another technique, our algorithm no longer needs to know the parameters $\mathcal S$ or $\mathcal V$ but the regret bounds could become suboptimal. In a special case where the reward function is linear and we have an exact oracle, we design a parameter-free algorithm that achieves nearly optimal regret both in the switching case and in the dynamic case without knowing the parameters in advance.

연구 동기 및 목표

• 보상 분포가 시간에 따라 변화하는 비정상 환경에서 조합적 반반밴드이트의 과제를 해결한다.
• 분포의 교체 횟수 $N$과 평균 결과의 총 변화량 $V$라는 두 가지 지표를 통해 비정상성을 모델링한다.
• 분포 의존적 및 분포 독립적 설정 모두에서 거의 최적의 리그레트를 달성하는 알고리즘을 설계한다.
• 파라미터 없는 적응 기반으로 $N$ 또는 $V$의 사전 지식이 없어도 가능하게 하되, 최적은 아니지만 선형보다 빠른 리그레트를 유지한다.
• 선형 보상과 정확한 오프라인 오라클이 존재하는 특수 케이스로 확장하여, 파라미터 조정 없이도 최적의 리그레트를 달성한다.

제안 방법

• 블록 기반 탐색과 통계적 테스트를 통해 분포 변화를 감지할 때 재시작하는 CUCB-SW 알고리즘을 도입한다.
• 집중 불등식과 리그레트 분해를 적용하여 기대 리그레트를 $N$, $V$, $\Delta_{\min}$의 함수로 bound한다.
• 변동량과 보상 이탈의 bound를 사용하여 분포 이동을 탐지하기 위해 EndOfBlockTest 및 EndOfReplayTest를 설계한다.
• 볼록 껍질의 완화를 사용한 FTRL(Follow-the-Regularized-Leader)을 적용하여 오프라인 최적화 문제를 효율적으로 해결한다.
• 적응형 블록 길이와 탐색을 사용하여 알려지지 않은 $N$ 또는 $V$에 적응하는 파라미터 없는 변형인 CUCB-BoB를 제안한다.
• 정확한 오프라인 오라클과 행동에 대한 희소 분포를 활용하여 고차원 조합적 공간에서도 효율성을 유지한다.

실험 결과

연구 질문

• RQ1 보상 분포가 시간에 따라 변화하는 상황에서 조합적 반반밴드이트에서 거의 최적의 리그레트를 달성할 수 있는가?
• RQ2 환경이 비정상적일 경우 밴드이트 알고리즘의 성능은 어떻게 저하되며, 그 기본 한계는 무엇인가?
• RQ3 사전 지식 없이 알려지지 않은 비정상성($N$ 또는 $V$)에 적응하는 파라미터 없는 알고리즘을 설계할 수 있는가?
• RQ4 비선형 보상 함수와 확률적으로 촉발되는 암이 비정상적 환경에서 리그레트에 어떤 영향을 미치는가?
• RQ5 선형 보상과 정확한 오라클이 존재하는 특수 케이스에서, 파라미터 조정 없이도 최적의 리그레트를 달성할 수 있는가?

주요 결과

• CUCB-SW는 교체 경우에 $\tilde{O}(m\tilde{N}T/\Delta_{\min})$의 분포 의존적 리그레트를 달성하며, 이는 최적의 bound에 거의 근접한다.
• 동적 경우에 CUCB-SW는 $\tilde{O}(V^{1/3}T^{2/3})$의 분포 독립적 리그레트를 달성하며, 이는 거의 최적이다.
• CUCB-BoB는 $N < cT^\gamma$ 또는 $V \leq cT^\gamma$ 인 경우 $\gamma < 1$이면, $N$ 또는 $V$를 알지 못해도 $T$에 대해 선형보다 빠른 리그레트를 달성한다.
• 정확한 오라클이 존재하는 선형 보상 케이스에서는 Ada-LCMAB가 $N$ 또는 $V$의 사전 지식 없이도 거의 최적의 리그레트를 달성한다.
• 이론적 분석을 통해 리그레트 한계가 로그 인자 수준에서 타이트함을 확인하였으며, 증명은 집중 불등식과 블록 기반 테스트에 기반한다.
• 알고리즘은 비선형 보상과 확률적으로 촉발되는 암에 대해 강건하며, 이는 이전의 정상적 및 선형 설정에 대한 연구를 확장한다.