[논문 리뷰] Stochastic bandits on a social network: Collaborative learning with local information sharing.

Ravi Kumar Kolla, Krishna Jagannathan외 1명|arXiv (Cornell University)|2016. 02. 29.

Advanced Bandit Algorithms Research참고 문헌 11인용 수 3

한 줄 요약

이 논문은 사회적 네트워크에서 이웃과 보상을 공유하는 에이전트들이 협동적으로 다손대기 문제를 학습하는 것을 연구한다. 단일 에이전트 정책의 단순한 확장은 비이타리스티적 행동으로 인해 실패함을 보이며, 특히 별형 구조를 갖춘 네트워크 구조를 활용하면 핵심 에이전트가 정보의 집합지점으로 기능하여 위험도를 크게 감소시킬 수 있음을 밝힌다.

ABSTRACT

We consider a collaborative online learning paradigm, wherein a group of agents connected through a social network are engaged in learning a Multi-Armed Bandit problem. Each time an agent takes an action, the corresponding reward is instantaneously observed by the agent, as well as its neighbours in the social network. We perform a regret analysis of various policies in this collaborative learning setting. A key finding of this paper is that appropriate network extensions of widely-studied single agent learning policies do not perform well in terms of regret. In particular, we identify a class of non-altruistic and individually consistent policies, which could suffer a large regret. We also show that the regret performance can be substantially improved by exploiting the network structure. Specifically, we consider a star network, which is a common motif in hierarchical social networks, and show that the hub agent can be used as an information sink, to aid the learning rates of the entire network. We also present numerical experiments to corroborate our analytical results.

연구 동기 및 목표

• 사회 네트워크를 통해 이웃과 보상을 공유하는 에이전트들 사이에서의 위험도 성능을 분석하는 것.
• 표준 단일 에이전트 밴디트 정책이 네트워크 기반 협동 설정으로 일반화되는가를 조사하는 것.
• 학습 효율성을 향상시키고 위험도를 감소시키는 데 기여하는 사회 네트워크의 구조적 특성을 규명하는 것.
• 특히 별형 구성이 포함된 네트워크 구조가 집단 학습을 향상시키는 데 어떻게 활용될 수 있는지 보여주는 것.

제안 방법

• 에이전트들이 자신의 행동뿐만 아니라 이웃의 행동에 대한 보상도 관찰하는 협동 학습 모델을 수립하는 것.
• 네트워크 기반 정보 공유 하에서 비이타리스티적 및 개인적으로 일관된 전략을 포함한 다양한 정책의 위험도 성능을 분석하는 것.
• 지역 정보 공유를 고려한 밴디트 정책의 네트워크 확장 방식을 도입하며, 특히 별형 네트워크에 중점을 두는 것.
• 별형 네트워크에서 핵심 에이전트가 정보를 집계하고 배포하여 정보의 집합지점으로 기능하도록 정책을 설계하는 것.
• 위험도 분석을 통해 다양한 정책 유형과 네트워크 구조 간의 성능을 비교하는 것.
• 이론적 결과를 검증하기 위해 수치 실험을 수행하여 구조화된 정보 공유가 위험도 감소에 어떻게 기여하는지 확인하는 것.

실험 결과

연구 질문

• RQ1 표준 단일 에이전트 밴디트 정책이 국소 정보 공유가 있는 협동 설정으로 효과적으로 일반화되는가?
• RQ2 사회 네트워크의 구조가 협동 밴디트 학습에서 집단적 위험도에 어떤 영향을 미치는가?
• RQ3 별형 네트워크에서 핵심 에이전트가 효과적인 정보의 집합지점으로 기능하여 전체 네트워크의 학습 속도를 향상시킬 수 있는가?
• RQ4 개인적으로 일관된 정책이라도 네트워크 기반 협동 설정에서는 어떤 이유로 높은 위험도를 초래하는가?
• RQ5 데크entral라이즈드 학습에서 네트워크 구조를 얼마나 활용하여 집단적 위험도를 줄일 수 있는가?

주요 결과

• 단일 에이전트 밴디트 정책의 단순한 네트워크 확장은 비이타리스티적 행동으로 인해 높은 위험도를 초래할 수 있음.
• 비이타리스티적이고 개인적으로 일관된 정책 유형은 협동 밴디트 학습에서 열악한 집단 성능을 보임.
• 별형 네트워크에서 핵심 에이전트는 정보의 집합지점으로 기능하여 네트워크 전반의 학습 효율성을 크게 향상시킴.
• 특히 별형 구조를 포함한 네트워크 구조를 활용하면, 비정형 또는 단순한 정책 확장 대비 집단적 위험도를 상당히 감소시킴.
• 수치 실험을 통해 핵심 에이전트를 통한 구조화된 정보 공유가 더 빠른 수렴과 낮은 위험도를 초래함을 확인함.