[논문 리뷰] Reinforcement Communication Learning in Different Social Network Structures

Marina Dubova, Arseny Moskvichev외 1명|arXiv (Cornell University)|2020. 07. 19.

Language and cultural evolution참고 문헌 23인용 수 6

한 줄 요약

이 연구는 다중 에이gent 강화학습(MARLC)에서 사회적 네트워크 구조가 의사소통 체계의 기원에 미치는 영향을 조사한다. 딥 Q러닝 기반 에이전트를 사용한 협업 게임을 통해, 전역적 네트워크 연결성이 공통의 대칭적 의사소통 관례로의 수렴을 촉진하는 반면, 높은 국지적 연결성은 분열된 '다른 언어'와 비대칭 신호 전파를 초래함을 보여준다. 주요 발견은 전역적 연결 비율이 의사소통 체계의 균일성과 대칭성에 가장 큰 영향을 미친다는 것이다.

ABSTRACT

Social network structure is one of the key determinants of human language evolution. Previous work has shown that the network of social interactions shapes decentralized learning in human groups, leading to the emergence of different kinds of communicative conventions. We examined the effects of social network organization on the properties of communication systems emerging in decentralized, multi-agent reinforcement learning communities. We found that the global connectivity of a social network drives the convergence of populations on shared and symmetric communication systems, preventing the agents from forming many local "dialects". Moreover, the agent's degree is inversely related to the consistency of its use of communicative conventions. These results show the importance of the basic properties of social network structure on reinforcement communication learning and suggest a new interpretation of findings on human convergence on word conventions.

연구 동기 및 목표

• 분산형 다중 에이전트 강화학습에서 사회적 네트워크 구조의 위상이 의사소통 체계의 기원에 미치는 영향을 조사하기 위해.
• 평균 차수 및 전역적 연결성과 같은 네트워크 수준의 특성들이 의사소통 수렴과 대칭성에 미치는 영향을 분리하여 분석하기 위해.
• MARLC 에이전트가 명명 게임 실험에서 관찰된 인간 유사한 수렴 패턴을 재현하는지 테스트하기 위해.
• 네트워크 구조가 신호 전달 및 행동 매핑의 일관성과 예측 가능성에 영향을 미치는지 평가하기 위해.

제안 방법

• 에이전트들은 협업 게임을 플레이하며, 말하는 자는 신호를 전달하고 듣는 자는 행동을 선택함. 일치하는 행동은 보상을 얻음.
• 사회 네트워크(랜덤, 완전 연결, 링, 스몰월드)는 상호작용이 가능한 에이전트를 결정하며, 에이전트들은 오직 인접한 이웃과만 소통함.
• 각 에이전트는 강화학습을 통해 최적의 신호 전달 및 행동 정책을 학습하기 위해 딥 Q네트워크를 사용함.
• 정보 이론적 지표를 사용해 의사소통 품질을 평가함: 신호 분산, 행동 매핑 분산, 그리고 신호와 행동의 일관성.
• 네트워크 구조를 다양화하여 의사소통 프로토콜의 수렴, 대칭성, 예측 가능성 수준을 측정함.
• 95% 신뢰구간을 사용한 통계 분석을 통해 네트워크 유형 및 조건 간의 차이를 평가함.

실험 결과

연구 질문

• RQ1 사회적 네트워크 위상은 MARLC에서 에이전트들이 공통의 의사소통 관례로 수렴하는 데 어떤 영향을 미치는가?
• RQ2 네트워크의 평균 차수가 에이전트의 신호 전달 및 청취 행동의 일관성에 얼마나 큰 영향을 미치는가?
• RQ3 전역적 연결 비율이 국지적 '다른 언어' 형성 억제와 대칭적 의사소통 촉진에 어떤 역할을 하는가?
• RQ4 네트워크 구조는 서로 다른 역할(말하는 자 vs. 듣는 자) 간의 신호 전달 대칭성에 어떻게 영향을 미치는가?
• RQ5 분산 학습을 사용하는 MARLC는 사회적 네트워크 실험에서 관찰된 인간 유사한 단어 관례 수렴 패턴을 재현할 수 있는가?

주요 결과

• 완전 연결(클리크) 네트워크에서 의사소통 체계의 균일성이 가장 높았으며, 에이전트 간 신호 전달 분산이 최소화되고 대칭성이 높음.
• 링 및 랜덤 네트워크의 에이전트들은 다수의 국지적 '다른 언어'를 개발하여, 에이전트 간의 높은 신호 전달 분산과 역할 기반의 일관성 없는 신호 전달을 보임.
• 더 높은 차수(더 많은 연결)를 가진 에이전트들은 낮은 신호 전달 및 청취 일관성을 보였으며, 이는 넓은 상호작용 네트워크가 개인의 예측 가능성을 감소시킴을 시사함.
• 스몰월드 네트워크에서 전역적 연결 비율이 의사소통 체계의 대칭성과 수렴에 가장 강력한 예측 변수로 나타남.
• 링 네트워크에서는 높은 평균 보상을 기록했지만, 상세 분석 결과 의사소통 대칭성이 낮고 국지적 변동성이 높아, 성능 지표만으로는 의사소통 품질을 평가하기에 부적절함을 입증함.