[논문 리뷰] One More Step Towards Reality: Cooperative Bandits with Imperfect Communication

Udari Madhushani, Abhimanyu Dubey외 2명|arXiv (Cornell University)|2021. 11. 24.

Advanced Bandit Algorithms Research인용 수 7

한 줄 요약

이 논문은 불완전한 통신 환경에서 협동 다익음 랜덤 월드 문제를 다루기 위해 RCL을 제안한다. 이는 확률적 네트워크, 랜덤 지연, 악성 조작을 모두 고려하며, 모든 설정에서 near-optimal 그룹 회귀율을 달성한다. 이론적 보장과 실제 통신 환경에서의 실험적 검증을 통해 검증된다.

ABSTRACT

The cooperative bandit problem is increasingly becoming relevant due to its applications in large-scale decision-making. However, most research for this problem focuses exclusively on the setting with perfect communication, whereas in most real-world distributed settings, communication is often over stochastic networks, with arbitrary corruptions and delays. In this paper, we study cooperative bandit learning under three typical real-world communication scenarios, namely, (a) message-passing over stochastic time-varying networks, (b) instantaneous reward-sharing over a network with random delays, and (c) message-passing with adversarially corrupted rewards, including byzantine communication. For each of these environments, we propose decentralized algorithms that achieve competitive performance, along with near-optimal guarantees on the incurred group regret as well. Furthermore, in the setting with perfect communication, we present an improved delayed-update algorithm that outperforms the existing state-of-the-art on various network topologies. Finally, we present tight network-dependent minimax lower bounds on the group regret. Our proposed algorithms are straightforward to implement and obtain competitive empirical performance.

연구 동기 및 목표

• 링크 장애, 랜덤 지연, 악성 조작과 같은 실제 통신 불완전성을 모델링하여 협동 밴딧 문헌의 격차를 메운다.
• 신뢰할 수 없는 통신 채널에서도 성능과 회귀율 보장을 유지하는 탈중앙화 알고리즘을 개발한다.
• 불완전한 통신 하에서 협동 밴딧 학습의 이론적 한계를 규명하기 위해 그룹 회귀율에 대한 날카운 미니맥스 하한을 제공한다.
• 완벽한 통신 환경에서의 기존 최고 성능을 뛰어넘기 위해 다양한 네트워크 구조에서 경쟁적인 성능을 보이는 새로운 지연 업데이트 알고리즘을 개발한다.

제안 방법

• 링크 고장 확률 모델을 도입하고, 수신 확률 $ p_i $ 를 조정하여 보상 추정의 편향을 줄이는 RCL-LF를 제안하여 확률적 시간 변화 네트워크를 위한 알고리즘을 개발한다.
• 지연 인지 가능한 신뢰구간을 도입하고, UCB를 지연 고려형으로 확장하여 보상 공유를 위한 RCL-SD를 설계하며, 기대 지연 $ \bbE[\tau] $ 를 회귀율 분석에 통합한다.
• 하이브리드 강건한 암 보존 및 국소 신뢰구간 전략을 사용하여 악성 조작에 대응하는 RCL-AC를 제안하며, 네트워크 내 잘 위치한 에이전트에만 탐색을 제한한다.
• 클리크 커버링 수 $ \bar{\chi}(G) $, 지배 수 $ \psi(G_\gamma) $, $ \gamma $-그래프 거듭제곱과 같은 네트워크 의존적 매개변수를 사용하여 알고리즘 성능과 회귀율 의존성을 정량화한다.
• 정보 이론적 도구, 특히 KL 발산 분해와 체인 법칙을 적용하여 탈중앙화 및 무지각 정책 하에서 그룹 회귀율에 대한 미니맥스 하한을 유도한다.
• 에이전트가 상위 신뢰구간 기반으로 암을 샘플링하고, 타임스탬프를 포함한 메시지를 전송하며, 네트워크 신뢰성에 따라 메시지를 선택적으로 수신하는 모듈식 알고리즘 프레임워크를 구현한다.

실험 결과

연구 질문

• RQ1 랜덤 링크 고장이 있는 시간 변화 네트워크에서 협동 밴딧 학습은 어떻게 낮은 그룹 회귀율을 유지할 수 있는가?
• RQ2 랜덤 메시지 지연이 협동 밴딧 알고리즘 성능에 미치는 영향은 무엇이며, 최소한의 회귀율 부담으로 어떻게 완화할 수 있는가?
• RQ3 손상 수준 $ \epsilon $ 가 알려지지 않은 상태에서도 악성 조작이 있는 메시지 환경에서 강건한 밴딧 학습이 가능할 수 있는가?
• RQ4 불완전한 통신 하에서 협동 밴딧 문제의 그룹 회귀율의 본질적 한계는 무엇이며, 네트워크 구조에 따라 어떻게 달라지는가?
• RQ5 네트워크 구조와 에이전트 위치는 통신 불완전성 하에서 탈중앙화 협동 밴딧 알고리즘 성능에 어떻게 영향을 미치는가?

주요 결과

• RCL-LF는 $ \mathcal{O}\left(\left(\sum_{i=1}^{N}(1-p\cdot p_{i})+\sum_{\mathcal{C}\in\mathcal{C}}(\max_{i\leq\mathcal{C}}p_{i})\cdot p\right)\left(\sum_{k=1}^{K}\frac{\log T}{\Delta_{k}}\right)\right) $ 의 그룹 회귀율을 달성하며, 통신 없음과 완벽한 통신 사이를 부드럽게 보간한다.
• RCL-SD는 $ \mathcal{O}\left(\bar{\chi}(G)\cdot\left(\sum_{k>1}\frac{\log T}{\Delta_{k}}\right)+\left(N\cdot\bbE[\tau]+\log T+\sqrt{N\cdot\bbE[\tau]\log T}\right)\cdot\sum_{k>1}\Delta_{k}\right) $ 의 회귀율을 달성하며, 네트워크 구조 의존성을 가지는 단일 에이전트 지연 밴딧 회귀율과 유사하다.
• RCL-AC는 $ \mathcal{O}\left(\psi(G_{\gamma})\cdot\sum_{k=1}^{K}\frac{\log T}{\Delta_{k}}+N\sum_{k=1}^{K}\frac{\log\log T}{\Delta_{k}}+NTK\gamma\epsilon\right) $ 의 회귀율을 달성하며, $ \epsilon $ 를 알지 못하더라도 알려진 손상된 단일 에이전트 밴딧의 성능과 일치한다.
• 논문은 그룹 회귀율에 대한 날카로운 미니맥스 하한을 확립하여, 유도된 회귀율이 각 통신 시나리오에서 near-optimal임을 입증한다.
• 완벽한 통신 환경에서, 개선된 지연 업데이트 알고리즘이 스케일프리 및 스몰월드 네트워크를 포함한 다양한 네트워크 구조에서 기존 최고 수준의 성능을 뛰어넘는다.
• 이론적 분석을 통해 탈중앙화 및 무지각 정책 역시 최소 $ \Omega(\sqrt{\alpha^\star(G_\gamma)NT}) $ 의 회귀율을 유발함을 확인하여, 불완전한 통신 하에서 학습의 본질적 한계를 입증한다.