[논문 리뷰] Kernel Methods for Cooperative Multi-Agent Contextual Bandits

Abhimanyu Dubey, Alex Pentland|arXiv (Cornell University)|2020. 08. 14.

Advanced Bandit Algorithms Research참고 문헌 56인용 수 7

한 줄 요약

이 논문은 지연된 통신을 가진 협동 다에이전트 맵핑 컨텍스트 밴딧에 적합한 커널 기반 알고리즘인 Coop-KernelUCB를 제안한다. 이 알고리즘은 동일하지 않은 보상 함수를 가진 에이전트들 간에 효율적이고 정확한 리그레트 최소화를 가능하게 하며, 행동과 에이전트 유사도를 조합한 프로덕트 커널을 활용하여 근사적으로 최적에 가까운 에이전트별 리그레트를 달성한다. 이는 분산 네트워크에서 계산 및 통신 효율성을 유지하면서도 실현 가능하다.

ABSTRACT

Cooperative multi-agent decision making involves a group of agents cooperatively solving learning problems while communicating over a network with delays. In this paper, we consider the kernelised contextual bandit problem, where the reward obtained by an agent is an arbitrary linear function of the contexts' images in the related reproducing kernel Hilbert space (RKHS), and a group of agents must cooperate to collectively solve their unique decision problems. For this problem, we propose extsc{Coop-KernelUCB}, an algorithm that provides near-optimal bounds on the per-agent regret, and is both computationally and communicatively efficient. For special cases of the cooperative problem, we also provide variants of extsc{Coop-KernelUCB} that provides optimal per-agent regret. In addition, our algorithm generalizes several existing results in the multi-agent bandit setting. Finally, on a series of both synthetic and real-world multi-agent network benchmarks, we demonstrate that our algorithm significantly outperforms existing benchmarks.

연구 동기 및 목표

• 각 에이전트가 동일하거나 군집화된 함수가 아닌 서로 다른 보상 함수를 가진 협동 다에이전트 맵핑 컨텍스트 밴딧 문제를 다루기 위해.
• 네트워크화된 에이전트에서 메시지 전파 지연을 다룰 수 있는 통신 효율적인 알고리즘을 설계하기 위해.
• 기존의 밴딧 알고리즘을 일반화하기 위해 커널 방법을 도입하여 에이전트 간의 함수 유사도를 모델링하기 위해.
• 에이전트들이 서로 다른 결정 문제를 가질 수 있지만 공통적인 구조적 유사성을 공유하는 설정에서 근사적으로 최적의 리그레트 한계를 달성하기 위해.
• 실제 및 시뮬레이션 다에이전트 네트워크 작업에서 기존 기준 대비 실증적 우수성을 입증하기 위해.

제안 방법

• 알고리즘은 행동과 에이전트 유사도를 조합한 프로덕트 커널 $ K = K_z \odot K_x $ 를 사용하여 재생 핵 힐버트 공간 (RKHS) 내에서 보상 함수를 모델링한다.
• 에이전트들은 지역적 메시지 교환 프로토콜을 통해 자신의 컨텍스트-액션 쌍과 보상을 교환하며, 글로벌 동기화 없이 분산 추정을 수행한다.
• 이 방법은 과거 관측치의 버퍼를 유지하고, 온라인 업데이트 규칙을 사용한 커널 리지 회귀를 통해 행동 선택을 위한 사후 평균 및 분산 추정치를 계산한다.
• 상한 신뢰도는 추정 보상과 불확실성을 포함한 수정된 UCB 규칙을 사용하여 계산되며, 이는 신뢰도 파rameter $ \eta $ 에 의해 스케일링된다.
• 온라인 학습 중 계산 효율성을 확보하기 위해 랭크-원 업데이트를 통해 역 그램 행렬을 동적으로 유지한다.
• 특수한 경우를 위해 Eager-KernelUCB 및 Dist-KernelUCB와 같은 변형 버전이 도입되어 다양한 네트워크 구조 및 통신 제약 조건에서 성능을 최적화한다.

실험 결과

연구 질문

• RQ1 지연된 통신을 가진 협동 다에이전트 밴딧 설정에서 비동일한 보상 함수 간의 유사도를 효과적으로 모델링하기 위해 커널 방법을 활용할 수 있는가?
• RQ2 서로 다른 에이전트 추정치의 평균화로 인한 편향을 피하면서 리그레트를 최소화할 수 있도록 통신을 어떻게 구성할 수 있는가?
• RQ3 각 에이전트가 서로 다른 보상 함수를 가질 때 협동 다에이전트 밴딧 알고리즘의 이론적 리그레트 한계는 무엇인가?
• RQ4 행동과 에이전트 유사도를 조합한 프로덕트 커널 $ K = K_z \odot K_x $ 의 도입이 기존의 다에이전트 밴딧 알고리즘 대비 학습 효율성을 향상시킬 수 있는가?
• RQ5 기존 방법 대비 실생활 및 시뮬레이션 다에이전트 네트워크 벤치마크에서 알고리즘이 실제로 어떻게 성능을 발휘하는가?

주요 결과

• Coop-KernelUCB는 지연된 통신과 비동일한 보상 함수를 가진 협동 다에이전트 맵핑 컨텍스트 밴딧 문제에서 근사적으로 최적의 에이전트별 리그레트 한계를 달성한다.
• 이 알고리즘은 각 에이전트가 고유한 보상 함수를 가질 수 있도록 허용하면서도 에이전트 유사도 커널 $ K_z $ 를 통해 공유 구조를 활용함으로써 기존 결과를 일반화한다.
• 실증 평가 결과, 시뮬레이션 및 실생활 다에이전트 네트워크 작업에서 기존 기준 대비 뚜렷한 성능 향상을 보였다.
• 프로덕트 커널 $ K = K_z \odot K_x $ 의 사용은 보상 함수가 유사한 에이전트들 간의 지식 공유를 효과적으로 가능하게 하여 샘플 효율성을 향상시킨다.
• 지역 메시지 전달 기반의 통신 프로토콜은 비동일한 설정에서의 단순 평균화로 인한 편향을 피하면서 낮은 리그레트를 유지한다.
• Eager-KernelUCB 및 Dist-KernelUCB와 같은 변형 버전은 특정 네트워크 구성에서 최적의 리그레트 스케일링을 달성하여 이 프레임워크의 유연성을 입증한다.