[논문 리뷰] Decentralized Cooperative Stochastic Bandits

David Martı́nez-Rubio, Varun Kanade외 1명|arXiv (Cornell University)|2018. 10. 10.

Age of Information Optimization인용 수 54

한 줄 요약

완전 분산 알고리즘(DDUCB)을 네트워크 상의 협력적 확률적 다팔 밴딧 문제에 제안하며, 글로벌 보상을 추정하기 위해 가속 가십을 사용하고 지연 및 추정 오차를 고려한 UCB 전략을 채택한다; 그래프의 스펙트럼 간격에 따라 의존하는 regret 경계가 제공된다.

ABSTRACT

We study a decentralized cooperative stochastic multi-armed bandit problem with $K$ arms on a network of $N$ agents. In our model, the reward distribution of each arm is the same for each agent and rewards are drawn independently across agents and time steps. In each round, each agent chooses an arm to play and subsequently sends a message to her neighbors. The goal is to minimize the overall regret of the entire network. We design a fully decentralized algorithm that uses an accelerated consensus procedure to compute (delayed) estimates of the average of rewards obtained by all the agents for each arm, and then uses an upper confidence bound (UCB) algorithm that accounts for the delay and error of the estimates. We analyze the regret of our algorithm and also provide a lower bound. The regret is bounded by the optimal centralized regret plus a natural and simple term depending on the spectral gap of the communication matrix. Our algorithm is simpler to analyze than those proposed in prior work and it achieves better regret bounds, while requiring less information about the underlying network. It also performs better empirically.

연구 동기 및 목표

• 네트워크 상의 N 에이전트 각각이 K개의 팔을 동기화하여 당기는 분산형 확률적 다팔 밴딧 문제를 연구한다.
• 국가/지연된 정보를 이용해 글로벌 팔-보상 통계를 추정하는 완전한 분산 알고리즘을 개발한다.
• 지연 및 노이즈 추정을 UCB 프레임워크에 반영하고 regret를 분석한다.
• 하한을 제공하고 중앙 집중식 및 비통신기반 대안과의 점근적 비교를 수행한다.
• 네트워크 정보 요구사항을 최소화하면서 개선된 regret 경계와 실용적 성능을 입증한다.

제안 방법

• 문제를 공유된 팔 분포를 가진 무향 연결 그래프상의 N 에이전트로 모델링한다.
• 가속 Chebyshev 기반 혼합(q_C(P))를 통해 네트워크 전반에서 m_t^k(팔 k의 총 보상) 및 n_t^k(팔 k의 총 당김) 을 추정하기 위해 러닝 컨센서스(가십)를 사용한다.
• 지연/근사 통계에 적응한 UCB를 적용: 팔을 선택할 때 alpha_i^k/a_i^k + sqrt( (2 eta sigma^2 ln s) / (N a_i^k) )를 최대화한다.
• 추정치를 혼합하기 위해 C 만큼의 통신 단계로 운영한 뒤, 단계적으로 팔을 업데이트하고 당긴다( gamma 및 beta/beta 혼합).
• 스펙트럼 간격 |lambda_2|와 노드 수 N에 의존하는 항을 포함하는 유한 시간 regret 경계 R(T) 제시; 점근적 경계 및 하한 비교를 증명한다.
• 지수하 모형의 보상과 분산 추정치를 sigma^2로 두고 N 및 스펙트럴 간격의 상한을 알고 있다고 가정하며, mixing 매개변수 C를 설정하기 위해 lambda_2(또는 그 상한)가 필요하다.

실험 결과

연구 질문

• RQ1 가까운 통신만으로 공유되는 보상에서 분산화(가십)를 통해 stochastic MAB의 regret에 어떤 영향이 있는가?
• RQ2 가속 가십 기반 추정기가 중앙 집중식 UCB에 가까운 regret를 가능하게 할 수 있으며 그래프의 스펙트럴 특성에 대한 정량적 의존성이 있는가?
• RQ3 제안된 DDUCB 알고리즘의 K, N, T, sigma, 및 lambda_2 항들로 표현된 유한 시간 및 점근적 regret 경계는 무엇인가?
• RQ4 정보 요구사항과 일반 그래프에서의 성능 측면에서 이전 coop-UCB 변형들과 알고리즘의 비교는 어떠한가?

주요 결과

• 제안된 DDUCB 알고리즘은 regret를 최적의 중앙 집중식 regret와 같게 만들고 스펙트럼 간격 및 에이전트 수에 의존하는 항을 포함한다.
• 유한 시간 regret 경계: R(T) < sum_{k: Delta_k>0} (32(1+1/11) sigma^2 ln(TN))/Delta_k + (N(6C+1)+4) sum_k Delta_k, C는 lambda_2에 의존한다.
• 점근적으로, R(T) lesssim sum_{k: Delta_k>0} (sigma^2 ln(TN))/Delta_k + (N ln N)/sqrt(ln(1/|lambda_2|)) sum_k Delta_k.
• 하한은 어떤 일관된 정책도 최소 Omega( sum_{k: Delta_k>0} (sigma^2 ln(TN))/Delta_k + (N/K + 1) sum_k Delta_k ) 를 가지며, DDUCB 경계는 K와 N에 따라 계수만 다르면 점근적으로 최적에 가깝다.
• DDUCB는 그래프 전체 가정이 덜 필요하고 통신을 가속화하여 스펙트럼 간격에 대한 regret 의존성을 이전 연구(예: coop-UCB 변형)보다 개선한다.
• 실험적으로, 이 방법은 기존의 분산 접근법보다 성능이 좋고 분석이 더 간단하다.