[논문 리뷰] Regret Bounds for Stochastic Combinatorial Multi-Armed Bandits with Linear Space Complexity

Mridul Agarwal, Vaneet Aggarwal|arXiv (Cornell University)|2018. 11. 29.

Advanced Bandit Algorithms Research참고 문헌 18인용 수 9

한 줄 요약

이 논문은 비선형 보상 함수를 가진 스토하스틱 조합적 다중 손잡이 밴딧 문제를 위한 계산적으로 효율적이고 선형 공간 복잡도를 가지는 알고리즘인 CMAB-SM을 제안한다. 이 알고리즘은 분할 정복 전략을 사용하여 $\tilde{O}(K^{1/2}N^{1/3}T^{2/3})$의 리그레트 한계를 달성하며, $T$, $N$, $K$에 대해 비선형이면서도 상당히 표준적인 접근 방식보다 뛰어난 성능을 보인다. 표준 접근 방식은 $\binom{N}{K}$가지 조합을 고려하기 때문이다.

ABSTRACT

Many real-world problems face the dilemma of choosing best $K$ out of $N$ options at a given time instant. This setup can be modelled as combinatorial bandit which chooses $K$ out of $N$ arms at each time, with an aim to achieve an efficient tradeoff between exploration and exploitation. This is the first work for combinatorial bandit where the reward received can be a non-linear function of the chosen $K$ arms. The direct use of multi-armed bandit requires choosing among $N$-choose-$K$ options making the state space large. In this paper, we present a novel algorithm which is computationally efficient and the storage is linear in $N$. The proposed algorithm is a divide-and-conquer based strategy, that we call CMAB-SM. Further, the proposed algorithm achieves a regret bound of $ ilde O(K^\frac{1}{2}N^\frac{1}{3}T^\frac{2}{3})$ for a time horizon $T$, which is sub-linear in all parameters $T$, $N$, and $K$. The evaluation results on different reward functions and arm distribution functions show significantly improved performance as compared to standard multi-armed bandit approach with $\binom{N}{K}$ choices.

연구 동기 및 목표

• 선택할 수 있는 $K$개의 손잡이 중 $N$개의 손잡이에서 $K$개를 고르는 문제에서 표준 다중 손잡이 밴딧 접근 방식의 계산 비효율성 문제를 해결하기 위해, $K$개의 손잡이를 고르는 데 $\binom{N}{K}$가지 조합이 발생하기 때문이다.
• 조합적 밴딧 환경에서 비선형 보상 함수를 처리하면서도 낮은 저장소 복잡도를 유지할 수 있는 알고리즘을 설계하기 위해.
• 비선형 보상이 있는 스토하스틱 조합적 밴딧 문제에서 $T$, $N$, $K$에 대해 비선형 리그레트 한계를 달성하기 위해.
• 표준 밴딧 방법은 $N$과 $K$가 증가할수록 성능이 급격히 떨어지는 것을 개선하기 위해.

제안 방법

• 알고리즘은 $K$-손잡이 선택 문제를 더 작은, 다룰 수 있는 부분 문제들로 분해하기 위해 분할 정복 전략을 사용한다.
• 이를 통해 $N$에 대해 선형 공간 복잡도를 유지하여 큰 $N$에 대해서도 확장 가능성을 확보한다.
• 비선형 보상 함수에 특화된 새로운 탐색-이용 균형 메커니즘을 사용하여 조합적 손잡이 집합에서의 성능을 극대화한다.
• 부분 문제에서의 탐색 균형 조절과 기대 보상의 효율적 추정을 통해 리그레트 한계를 달성한다.
• 모든 $\binom{N}{K}$ 조합을 나열하는 것을 피하기 위해 손잡이 집합을 재귀적으로 분할하고 유망한 부분 집합에 집중한다.

실험 결과

연구 질문

• RQ1 조합적 밴딧 알고리즘이 선형 공간 복잡도를 유지하면서도 $T$, $N$, $K$에 대해 비선형 리그레트 한계를 달성할 수 있는가?
• RQ2 비선형 보상 환경에서, 표준 다중 손잡이 밴딧 방법에 비해 분할 정복 접근 방식의 성능은 어떻게 다른가?
• RQ3 스토하스틱 조합적 밴딧 문제에서 비선형 보상이 존재할 경우, 선형 공간 복잡도를 가진 알고리즘이 달성할 수 있는 이론적 리그레트 한계는 무엇인가?
• RQ4 제안된 방법은 완전 탐색 없이도 큰 $N$과 중간 정도의 $K$에 대해 효율적으로 확장 가능한가?

주요 결과

• 제안된 CMAB-SM 알고리즘은 $\tilde{O}(K^{1/2}N^{1/3}T^{2/3})$의 리그레트 한계를 달성하며, 이는 $T$, $N$, $K$에 대해 비선형이다.
• 알고리즘은 $N$에 대해 선형 공간 복잡도를 유지하여 대규모 문제에 대한 확장성을 확보한다.
• 실증 평가 결과, 모든 $\binom{N}{K}$ 조합을 고려하는 표준 다중 손잡이 밴딧 접근 방식보다 뚜렷이 향상된 성능을 보였다.
• 분할 정복 전략은 계산 부담을 효과적으로 줄이면서도 리그레트 보장을 유지하는 데 성공했다.