[논문 리뷰] Deterministic Sequencing of Exploration and Exploitation for Multi-Armed Bandit Problems

Sattar Vakili, Keqin Liu외 1명|arXiv (Cornell University)|2011. 06. 30.

Advanced Bandit Algorithms Research참고 문헌 23인용 수 9

한 줄 요약

이 논문은 다중 손잡이 밴딧(MAB) 문제를 위한 결정론적 탐색 및 이용의 순차적 프레임워크인 DSEE(Deterministic Sequencing of Exploration and Exploitation)를 제안한다. 이 프레임워크는 시간에 따라 탐색(라운드로빈 방식의 암 선택)과 이용(표본 평균이 가장 높은 암 선택)을 분리한다. 경량 尾 보상에 대해서는 최적의 로그 형태의 누적 실수를 달성하고, 유한한 모멘트를 가진 무거운 尾 보상에 대해서는 다항식 형태의 누적 실수를 달성하며, 이는 분산, 불안정한, 조합적 MAB 설정으로 확장 가능하며, 증명 가능한 비최적의 누적 실수 증가를 보인다.

ABSTRACT

In the Multi-Armed Bandit (MAB) problem, there is a given set of arms with unknown reward models. At each time, a player selects one arm to play, aiming to maximize the total expected reward over a horizon of length T. An approach based on a Deterministic Sequencing of Exploration and Exploitation (DSEE) is developed for constructing sequential arm selection policies. It is shown that for all light-tailed reward distributions, DSEE achieves the optimal logarithmic order of the regret, where regret is defined as the total expected reward loss against the ideal case with known reward models. For heavy-tailed reward distributions, DSEE achieves O(T^1/p) regret when the moments of the reward distributions exist up to the pth order for 12. With the knowledge of an upperbound on a finite moment of the heavy-tailed reward distributions, DSEE offers the optimal logarithmic regret order. The proposed DSEE approach complements existing work on MAB by providing corresponding results for general reward distributions. Furthermore, with a clearly defined tunable parameter-the cardinality of the exploration sequence, the DSEE approach is easily extendable to variations of MAB, including MAB with various objectives, decentralized MAB with multiple players and incomplete reward observations under collisions, MAB with unknown Markov dynamics, and combinatorial MAB with dependent arms that often arise in network optimization problems such as the shortest path, the minimum spanning, and the dominating set problems under unknown random weights.

연구 동기 및 목표

• 모르는 보상 분포를 가진 MAB 문제에서 탐색-이용 트레이드오프를 해결하기 위해.
• 다양한 보상 분포, 특히 무거운 尾 및 마코프-모듈레이션 모델을 포함한 일반적인 MAB 정책을 개발하여 최적의 누적 실수 순서를 유지하기 위해.
• 충돌 제약 조건과 완전한 보상 관측이 불가능한 분산 MAB, 기억을 가진 불안정한 밴딧, 종속된 암을 가진 조합적 MAB로의 확장을 위해.
• UCB와 같은 확률적 색인 정책의 조절 가능한 결정론적 대안을 제공하며, 명확한 이론적 보장을 제공하기 위해.

제안 방법

• DSEE는 시간을 두 가지 교차하는 순서로 나눈다: 탐색 단계에서는 모든 암이 라운드로빈 순서로 선택되고, 이용 단계에서는 표본 평균이 가장 높은 암이 선택된다.
• 탐색 순서의 크기는 탐색과 이용의 균형을 조절하는 조절 가능한 파라미터이다.
• 경량 尾 보상에 대해서는 DSEE가 각 암이 약 log T번 탐색되도록 보장함으로써 로그 형태의 누적 실수를 달성한다.
• 유한한 p차 모멘트를 가진 무거운 尾 보상(1 < p ≤ 2)에 대해서는 DSEE가 O(T^{1/p})의 누적 실수를 달성하고, p > 2일 경우 O(T^{1/(1+p/2)})의 누적 실수를 달성한다.
• 보상 분포의 모멘트에 상한이 알려져 있을 경우, DSEE는 최적의 로그 형태의 누적 실수 순서를 회복한다.
• 충돌과 플레이어 간 협력을 모델링하여 분산 MAB로의 확장을 하였고, 기저 함수를 탐색함으로써 조합적 MAB로의 확장을 하였다.

실험 결과

연구 질문

• RQ1 결정론적이고 시간에 의해 분리된 탐색 및 이용 접근이 일반적인 보상 분포에서 최적의 누적 실수 순서를 달성할 수 있는가?
• RQ2 유한한 모멘트를 가진 무거운 尾 보상 분포에서 DSEE는 어떻게 성능을 발휘하는가?
• RQ3 DSEE는 충돌 제약 조건과 완전한 보상 관측이 불가능한 분산 MAB로 확장될 수 있는가?
• RQ4 의존적인 암을 가진 조합적 MAB, 예를 들어 알려지지 않은 가중치 하에 최단 경로나 최소 스패닝 트리 문제에 DSEE는 적응 가능한가?
• RQ5 마코프 역학과 비정상적인 암 진화를 가진 불안정한 MAB에서 DSEE는 최적의 누적 실수 순서를 유지하는가?

주요 결과

• 경량 尾 보상 분포에 대해서는 DSEE가 Lai와 Robbins가 수립한 이론적 하한과 일치하는 최적의 로그 형태 누적 실수 순서를 달성한다.
• 유한한 p차 모멘트를 가진 무거운 尾 보상(1 < p ≤ 2)에 대해서는 DSEE가 O(T^{1/p})의 누적 실수를 달성하고, p > 2일 경우 O(T^{1/(1+p/2)})의 누적 실수를 달성한다.
• 보상 분포의 모멘트에 상한이 알려져 있을 경우, DSEE는 무거운 尾 분포에 대해서도 최적의 로그 형태 누적 실수 순서를 달성한다.
• DSEE 프레임워크는 충돌 제약 조건 하에서 하위선형 누적 실수를 유지하는 분산 MAB로 확장 가능하며, 누적 실수는 상위 M개의 암의 학습 효율성에 의해 결정된다.
• 의존적인 암을 가진 조합적 MAB에서 DSEE는 네트워크 구조의 기저 함수만을 탐색함으로써 문제 크기의 다항식 증가를 보이며, 기하급수적 증가를 피한다.
• 알 수 없는 마코프 역학을 가진 불안정한 MAB에서 DSEE는 로그 형태의 순서를 가지는 약한 누적 실수를 달성하여, 기억과 연속적인 진화를 가진 시스템으로의 적용 범위를 확장한다.