[논문 리뷰] Decentralized Cooperative Stochastic Multi-armed Bandits.

David Martı́nez-Rubio, Varun Kanade외 1명|arXiv (Cornell University)|2018. 10. 10.

Advanced Bandit Algorithms Research인용 수 12

한 줄 요약

이 논문은 네트워크 상의 협동 스토케스틱 다손대기 문제에 대해 완전히 탈중앙화된 알고리즘을 제안하며, 지연과 오차가 있는 평균 보상 추정을 위해 런닝 컨센서스를 사용하고, 이를 지연된 UCB 접근 방식에 적용한다. 이는 모든 네트워크에서 이전 방법보다 상수 요소를 제외하고 우수한 결과를 내며, 특정 그래프 구조에서는 더 뛰어난 성능을 보인다.

ABSTRACT

We study a decentralized cooperative stochastic multi-armed bandit problem with $K$ arms on a network of $N$ agents. In our model, the reward distribution of each arm is agent-independent. Each agent chooses iteratively one arm to play and then communicates to her neighbors. The aim is to minimize the total network regret. We design a fully decentralized algorithm that uses a running consensus procedure to compute, with some delay, accurate estimations of the average of rewards obtained by all the agents for each arm, and then uses an upper confidence bound algorithm that accounts for the delay and error of the estimations. We analyze the algorithm and up to a constant our regret bounds are better for all networks than other algorithms designed to solve the same problem. For some graphs, our regret bounds are significantly better.

연구 동기 및 목표

• 에이전트들이 네트워크를 통해 보상을 공유하는 탈중앙화된 협동 스토케스틱 다손대기 문제를 해결하기 위해.
• 중앙 집중식 조율 없이 총 네트워크 리그레트를 최소화하기 위해.
• 통신 지연과 보상 평균화 과정에서 발생하는 오차를 고려한 완전히 탈중앙화된 알고리즘을 설계하기 위해.
• 모든 네트워크 유형에서 경쟁력 있는 리그레트 한계를 확보하고, 특정 그래프 구조에서는 기존 방법보다 뛰어난 성능을 달성하기 위해.

제안 방법

• 네트워크 전반에서 각 암의 평균 보상을 지연이 수반되는 내재된 특성과 함께 추정하기 위해 런닝 컨센서스 절차를 활용한다.
• 지연되고 노이즈가 섞인 평균 보상 추정치를 수정된 상한 신뢰도 기반(UCB) 알고리즘에 적용하여 탐색과 이용의 균형을 이룬다.
• 오차와 지연 보정을 UCB 선택 규칙에 통합하여 성능 보장을 유지한다.
• 모든 계산과 결정을 국부적으로 수행하며, 에이전트는 오직 인접한 이웃과만 통신한다.
• 중앙 집중식 조율이나 네트워크의 전역 지식이 필요 없는 완전히 탈중앙화된 알고리즘을 설계한다.

실험 결과

연구 질문

• RQ1 탈중앙화된 네트워크 내 에이전트들이 스토케스틱 다손대기 설정에서 총 리그레트를 공동으로 최소화하는 방법은 무엇인가?
• RQ2 통신 지연과 추정 오차가 탈중앙화된 협동 밴딧에서 리그레트에 미치는 영향은 무엇인가?
• RQ3 컨센서스 기반 평균화 방법을 UCB와 효과적으로 융합하여 탈중앙화 환경에서 낮은 리그레트를 유지할 수 있는가?
• RQ4 리그레트 한계는 네트워크 토폴로지에 따라 어떻게 변화하며, 기존 탈중앙화 알고리즘보다 향상시킬 수 있는가?

주요 결과

• 제안된 알고리즘은 모든 네트워크 유형에서 이전의 탈중앙화 알고리즘보다 상수 요소를 제외하고 더 나은 리그레트 한계를 확보한다.
• 특정 그래프 구조에서는 기존 방법보다 리그레트 한계가 상당히 향상된다.
• 수정된 UCB 접근 방식을 통해 지연되고 노이즈가 섞인 평균 보상 추정치를 효과적으로 처리한다.
• 중앙 집중식 조율나 네트워크의 전역 지식이 필요 없이도 강력한 이론적 성능 보장을 유지한다.