[논문 리뷰] On the Combinatorial Multi-Armed Bandit Problem with Markovian Rewards

Yi Gai, Bhaskar Krishnamachari외 1명|arXiv (Cornell University)|2010. 12. 14.

Advanced Bandit Algorithms Research참고 문헌 14인용 수 10

한 줄 요약

이 논문은 사용자-자원 보상이 알려지지 않은 마르코프 체인에 의해 변화하는 조합적 다익음 보상 문제를 해결하기 위해 다항 시간, 다항 저장소 알고리즘인 매칭 학습(Matching Learning, MLMR)을 제안한다. 이 방법은 시간에 대해 균일하게 로그 성장하는 실현가능한 손실을 달성하며, 사용자와 자원의 수에 대해 다항적 의존성을 보이며, 기존의 초지수적 암호 공간과 종속적, i.i.d.가 아닌 보상에 대해 최적화되지 않은 상한에 비해 크게 향상된다.

ABSTRACT

We consider a combinatorial generalization of the classical multi-armed bandit problem that is defined as follows. There is a given bipartite graph of $M$ users and $N \geq M$ resources. For each user-resource pair $(i,j)$, there is an associated state that evolves as an aperiodic irreducible finite-state Markov chain with unknown parameters, with transitions occurring each time the particular user $i$ is allocated resource $j$. The user $i$ receives a reward that depends on the corresponding state each time it is allocated the resource $j$. The system objective is to learn the best matching of users to resources so that the long-term sum of the rewards received by all users is maximized. This corresponds to minimizing regret, defined here as the gap between the expected total reward that can be obtained by the best-possible static matching and the expected total reward that can be achieved by a given algorithm. We present a polynomial-storage and polynomial-complexity-per-step matching-learning algorithm for this problem. We show that this algorithm can achieve a regret that is uniformly arbitrarily close to logarithmic in time and polynomial in the number of users and resources. This formulation is broadly applicable to scheduling and switching problems in networks and significantly extends prior results in the area.

연구 동기 및 목표

• 마르코프 조절 상태 의존적 보상이 존재하는 시스템에서 최적의 사용자-자원 매칭을 학습하는 데 도전하는 것.
• 초지수적 수의 가능한 매칭이 존재함에도 불구하고 다항 저장소와 단계별 계산 시간을 갖는 확장 가능한 학습 정책을 설계하는 것.
• 각 사용자-자원 쌍에 대해 알려지지 않은 마르코프 체인 매개변수를 가진 상태에서 최적의 정적 매칭과 알고리즘 성능 간의 격차로 정의된 손실을 최소화하는 것.
• 체인 성질에 대한 사전 지식이 없더라도 시간에 대해 균일하게 로그 성장하는 이론적 손실 상한을 확립하는 것.

제안 방법

• 알고리즘은 각 사용자-자원 매칭을 하나의 암호로 간주하고, 관측된 보상의 표본 평균에서 유도된 신뢰구간에 기반한 새로운 탐색 전략을 사용한다.
• 각 사용자-자원 쌍 $(i,j)$에 대해 경험적 보상 추정치 $\hat{\theta}_{i,j}$를 유지하며, 각 할당 이후 갱신한다.
• 탐색과 이용의 균형을 맞추기 위해 상한 신뢰구간이 높은 암호를 우선순위로 삼는 근시성 접근 방식을 사용하여 매칭을 선택한다.
• 핵심 기술적 구성 요소는 Anantharam 등(1987)의 보조정리 1에 기반한 정지 시간 추론으로, 상태 점유 시간이 정적 기대값에서 벗어나지 않도록 제한한다.
• 손실 분석은 각 마르코프 체인의 고유값 갭 $\epsilon_{i,j}$를 활용하여 혼합 시간을 제어하고 경험적 추정치의 빠른 수렴을 보장한다.
• 알고리즘은 비최적 매칭이 오직 로그 수준으로만 시행되도록 보장하여 엄밀한 손실 상한을 이룬다.

실험 결과

연구 질문

• RQ1 초지수적 수의 매칭이 존재하는 조합적 다익음 보상 문제에 대해, 마르코프 보상을 갖는 확장 가능한 학습 정책을 설계할 수 있는가?
• RQ2 암호 간에 종속적이고 i.i.d.가 아닌 보상을 가진 상황에서 탐색과 이용 사이의 근본적 트레이드오프는 무엇인가?
• RQ3 기본 마르코프 체인의 매개변수가 알려지지 않은 상태에서도 손실이 시간에 대해 균일하게 로그 성장하는가?
• RQ4 마르코프 체인의 고유값 갭은 학습 정책의 수렴 속도와 손실 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 MLMR 알고리즘은 시간에 대해 균일하게 로그 성장하고 사용자 수 $M$과 자원 수 $N$에 대해 다항적 의존성을 보이는 손실 상한을 달성한다.
• 마르코프 체인에 대한 약한 가정(예: 유한한 고유값 갭) 하에서 손실은 $O(\log T)$로 성장하며, 여기서 $T$는 시간이며 $M$과 $N$에 대해 다항적이다.
• 마르코프 체인 매개변수에 대한 사전 지식이 없더라도, 신뢰구간 너비를 조정함으로써 손실를 임의로 로그 성장에 가깝게 만들 수 있다.
• 알고리즘은 다항 저장소만을 사용하고 단계별 계산 시간도 다항적이다. 따라서 대규모 시스템에 대해 확장 가능하다.
• 기존의 표준 다익음 보상 접근 방식은 암호 수 $P(N,M)$에 대해 선형 손실을 초래할 수 있는 반면, 이 알고리즘의 손실 상한은 더 엄밀하다.
• 이론적 분석은 마르코프 체인에 대한 정지 시간 상한의 새로운 응용에 기반하며, 경험적 보상 추정치가 진정한 평균값으로 신속히 수렴하도록 보장한다.