[논문 리뷰] When to Call Your Neighbor? Strategic Communication in Cooperative Stochastic Bandits

Udari Madhushani, Naomi Ehrich Leonard|arXiv (Cornell University)|2021. 10. 08.

Advanced Bandit Algorithms Research참고 문헌 23인용 수 4

한 줄 요약

이 논문은 공동 스토하스틱 밴딧에서 비용 효율적인 통신 프로토콜인 ComEx를 제안한다. ComEx는 전체 통신과 동일한 최적의 리그레트 성능을 유지하면서도 통신량을 Θ(T)에서 O(log T)로 줄인다. ComEx는 하위최적의 암을 포함할 가능성이 있는 탐색 행동에서 발생하는 보상만 전략적으로 전송함으로써 불필요한 메시지 전송을 최소화하면서도 그룹 성능을 손상시키지 않는다.

ABSTRACT

In cooperative bandits, a framework that captures essential features of collective sequential decision making, agents can minimize group regret, and thereby improve performance, by leveraging shared information. However, sharing information can be costly, which motivates developing policies that minimize group regret while also reducing the number of messages communicated by agents. Existing cooperative bandit algorithms obtain optimal performance when agents share information with their neighbors at extit{every time step}, i.e., full communication. This requires $Θ(T)$ number of messages, where $T$ is the time horizon of the decision making process. We propose extit{ComEx}, a novel cost-effective communication protocol in which the group achieves the same order of performance as full communication while communicating only $O(\log T)$ number of messages. Our key step is developing a method to identify and only communicate the information crucial to achieving optimal performance. Further we propose novel algorithms for several benchmark cooperative bandit frameworks and show that our algorithms obtain extit{state-of-the-art} performance while consistently incurring a significantly smaller communication cost than existing algorithms.

연구 동기 및 목표

• 그룹 성능을 떨어뜨리지 않고 공동 스토하스틱 밴딧에서의 통신 비용을 줄이는 것.
• 리그레트를 최소화하는 데 가장 중요한 정보를 식별하고, 하위최적의 암 선택에서 발생하는 보상에 집중하는 것.
• 탐색 상태에 기반하여 필요할 때만 통신할 수 있도록 에이전트가 메시지를 전송할 수 있는 프로토콜을 개발하는 것.
• 이론적 및 실험적 검증을 통해 다양한 벤치마크 공동 밴딧 프레임워크에 프로토콜를 통합하는 것.
• 기존 방법보다 훨씬 낮은 통신 오버헤드로 최신 기술 수준의 성능을 달성하는 것.

제안 방법

• ComEx는 에이전트가 탐색 행동을 수행할 때만 메시지를 전송한다. 탐색 행동은 현재 최고 추정치가 아닌 암을 선택하는 것을 정의한다.
• 유한한 메모리 윈도우 γ를 사용하는 지연 메시지 전달 메커니즘을 활용하여 오래된 정보를 제거한다.
• 에이전트들은 국소적으로 암 평균과 신뢰구간을 유지하며, 이웃으로부터 수신한 메시지를 사용해 이를 갱신한다.
• UCB, 추정 기반 UCB, 톰슨 샘플링 변형과의 통합을 통해 다양한 프레임워크와의 호환성을 확보한다.
• 메시지에는 에이전트 ID, 시간, 행동, 보상이 포함되어 있어 공감 기반 추정을 가능하게 하면서도 중복을 최소화한다.
• 메시지 폐기 메커니즘을 통해 오래되고 관련 없는 데이터만 유지함으로써 저장 및 통신 오버헤드를 줄인다.

실험 결과

연구 질문

• RQ1 전체 통신과 동일한 최적의 리그레트 성능을 유지하면서도 공동 밴딧에서 통신 비용을 줄일 수 있는가?
• RQ2 공동 밴딧 환경에서 그룹 리그레트를 최소화하는 데 있어 어떤 종류의 정보가 가장 중요한가?
• RQ3 전체 통신과 동일한 리그레트 순서를 달성하면서도 Θ(T) 대신 O(log T)의 메시지만으로 가능한가?
• RQ4 탐색 행동에서 유의미한 정보만 선택적으로 전송할 수 있는 통신 프로토콜을 어떻게 설계할 수 있는가?
• RQ5 ComEx는 성능 보장이 입증된 다양한 공동 밴딧 프레임워크에 효과적으로 통합될 수 있는가?

주요 결과

• ComEx는 전체 통신과 동일한 그룹 리그레트 순서를 달성함으로써 O(log T) 메시지만으로도 최적의 성능이 가능하다는 것을 입증한다.
• ComEx의 통신 비용은 O(log T)이며, 전체 통신의 Θ(T) 비용에 비해 상당히 감소한다.
• 모든 벤치마크 프레임워크—분산형 및 중심집중형으로서 보상 공유, 메시지 전달, 추정치 공유를 포함—에서 ComEx 기반 알고리즘이 기존 방법보다 통신 효율성이 뛰어나다.
• 실험 결과에 따르면 ComEx 기반 알고리즘은 상태의 최신 기술 수준 기준선 대비 통신 비용을 크게 낮추면서도 성능을 유지하거나 향상시키는 것으로 확인되었다.
• ComEx는 UCB, 추정-UCB, 톰슨 샘플링 등 다양한 밴딧 알고리즘과 호환되며, 모든 변형에서 이론적 보장을 제공한다.
• 탐색 행동에서 발생하는 보상만 전송함으로써 ComEx는 불필요한 통신을 방지하면서도 하위최적의 암을 식별하고 피할 수 있는 능력을 유지한다.