[논문 리뷰] Distributed Clustering of Linear Bandits in Peer to Peer Networks

Nathan Korda, Balázs Szörényi외 1명|arXiv (Cornell University)|2016. 04. 26.

Advanced Bandit Algorithms Research참고 문헌 17인용 수 69

한 줄 요약

이 논문은 통신이 제한된 피어 투 피어 네트워크에서 선형 밴디트 문제를 위한 두 가지 분산 알고리즘—DCB와 DCCB—을 제안한다. 게이지 기반 신뢰 구역 접근법을 사용하여, 동질적인 네트워크에서는 DCB가 최적의 渐진적 잔류를 달성하고, DCCB는 유사한 밴디트 문제를 해결하는 에이전트의 클러스터를 탐지하며 각 클러스터 내에서 최적의 잔류를 유지한다. 이는 실제 데이터셋에서 중심화된 기준과 유사한 성능을 보여주며 검증되었다.

ABSTRACT

We provide two distributed confidence ball algorithms for solving linear bandit problems in peer to peer networks with limited communication capabilities. For the first, we assume that all the peers are solving the same linear bandit problem, and prove that our algorithm achieves the optimal asymptotic regret rate of any centralised algorithm that can instantly communicate information between the peers. For the second, we assume that there are clusters of peers solving the same bandit problem within each cluster, and we prove that our algorithm discovers these clusters, while achieving the optimal asymptotic regret rate within each one. Through experiments on several real-world datasets, we demonstrate the performance of proposed algorithms compared to the state-of-the-art.

연구 동기 및 목표

• 피어 투 피어 네트워크에서 통신이 제한된 조건에서 다중 에이전트 선형 밴디트 문제의 잔류를 최소화하는 데 도전하는 것.
• 즉각적인 전역 통신이 필요 없이 중심화된 알고리즘과 비교해도 최적의 잔류 성능을 유지하는 분산 알고리즘을 설계하는 것.
• 다른 밴디트 문제를 해결하는 에이전트들이 포함된 이질적 네트워크로 프레임워크를 확장하는 것.
• 사전에 클러스터 구조를 알지 못하더라도 에이전트 클러스터를 자동으로 탐지하면서도 각 클러스터 내에서 최적의 잔류율을 유지하는 것.
• 제안된 알고리즘을 실제 데이터셋에서 평가하고 최신의 중심화된 및 분산 기반 기준과 비교하는 것.

제안 방법

• DCB 알고리즘은 에이전트가 무작위로 정보를 교환하고 집계하여 추정된 파라미터 주변의 신뢰 구역을 유지하는 게이지 기반 프로토콜을 사용한다.
• 이중 카운팅으로 인한 편향을 완화하기 위해 O(log t) 순서의 지연 메커니즘이 도입되어 渐진적 일致성을 보장한다.
• DCCB 알고리즘은 유사한 기저 밴디트 파라미터를 가진 에이전트의 클러스터를 탐지하고 분리하는 정리 기반 메커니즘을 DCB에 통합하여 확장한다.
• 에이전트들은 로컬 신뢰 구역을 유지하고, 이웃으로부터 공유된 지연된 관측치를 사용해 이를 갱신하며, 상태 성장 관리를 위해 주기적으로 버퍼를 정리한다.
• 선형 회귀에 하위가우시안 노이즈를 적용한 수정된 신뢰 구역 갱신 규칙을 사용하여 파라미터 추정치의 고확률 농도를 보장한다.
• 알고리즘에 클러스터 식별 절차가 통합되어 시간이 지남에 따라 진짜 클러스터를 높은 확률로 복원함을 증명한다.

실험 결과

연구 질문

• RQ1 통신이 제한된 피어 투 피어 네트워크에서 분산 알고리즘이 중심화된 선형 밴디트 알고리즘의 최적의 渐진적 잔류율을 달성할 수 있는가?
• RQ2 클러스터의 구조를 사전에 알지 못하더라도 알고리즘이 동일한 밴디트 문제를 해결하는 에이전트의 클러스터를 자동으로 탐지하고 적응할 수 있는가?
• RQ3 실제 추천 데이터셋에서 제안된 분산 알고리즘의 성능은 중심화된 기준 및 비공유 기준과 비교해 어떻게 되는가?
• RQ4 게이지 기반 분산 환경에서 통신 지연과 데이터 중복은 잔류에 어떤 영향을 미치는가?
• RQ5 분산적이고 비동기적인 환경에서 알고리즘이 클러스터를 탐지하면서도 최적의 잔류 성능을 유지할 수 있는가?

주요 결과

• 동질적 네트워크에서 DCB 알고리즘은 중심화된 알고리즘과 동일한 최적의 渐진적 잔류율 O(log T)를 달성한다.
• DCCB 알고리즘은 유사한 밴디트 문제를 해결하는 진짜 기저 클러스터를 고확률로 탐지한다.
• DCCB는 탐지된 각 클러스터 내에서 최적의 잔류 성능을 유지하며, 각 클러스터를 독립적으로 운영하는 중심화된 알고리즘과 동일한 渐진적 잔류율을 달성한다.
• 실제 데이터셋(LastFM, Delicious, MovieLens)에서 DCCB는 중심화된 CLUB 알고리즘과 유사한 성능을 보이며, CB- NoSharing 및 CB- InstSharing보다 뚜렷하게 뛰어난 성능을 보였다.
• 실험 결과는 게이지 기반 정보 공유 프로토콜이 최소한의 통신 오버헤드로도 강건하고 확장 가능한 학습을 가능하게 함을 확인한다.
• 분석 결과 지연 메커니즘이 데이터 중복으로 인한 편향을 효과적으로 완화하여 진짜 파라미터 벡터로의 수렴을 보장함을 입증한다.