[논문 리뷰] Learning of Coordination Policies for Robotic Swarms

Qiyang Li, Xintong Du외 3명|arXiv (Cornell University)|2017. 09. 19.

Mobile Crowdsensing and Crowdsourcing참고 문헌 1인용 수 7

한 줄 요약

이 논문은 중심 집중식 협업 정책을 분산 정책으로 압축하여 로봇 군집에 적용하는 딥러닝 기반 접근법을 제안한다. 다양한 에이전트 신경망을 사용해 행동 정책과 통신 프로토콜을 동시에 학습하며, 해석 가능한 통신 벡터를 통해 방향성 의도를 전달한다. 이 방법은 수렵 및 입자 할당 작업에서 중심 집중식 정책과 비교해 유사한 성능을 달성하며, 이전에 해결되지 않았던 문제들에 대해서도 성능을 보이며, 통신 벡터는 방향성 의도를 전달한다.

ABSTRACT

Inspired by biological swarms, robotic swarms are envisioned to solve real-world problems that are difficult for individual agents. Biological swarms can achieve collective intelligence based on local interactions and simple rules; however, designing effective distributed policies for large-scale robotic swarms to achieve a global objective can be challenging. Although it is often possible to design an optimal centralized strategy for smaller numbers of agents, those methods can fail as the number of agents increases. Motivated by the growing success of machine learning, we develop a deep learning approach that learns distributed coordination policies from centralized policies. In contrast to traditional distributed control approaches, which are usually based on human-designed policies for relatively simple tasks, this learning-based approach can be adapted to more difficult tasks. We demonstrate the efficacy of our proposed approach on two different tasks, the well-known rendezvous problem and a more difficult particle assignment problem. For the latter, no known distributed policy exists. From extensive simulations, it is shown that the performance of the learned coordination policies is comparable to the centralized policies, surpassing state-of-the-art distributed policies. Thereby, our proposed approach provides a promising alternative for real-world coordination problems that would be otherwise computationally expensive to solve or intangible to explore.

연구 동기 및 목표

• 중앙 집중식 제어가 불가능한 대규모 로봇 군집에 대해 효과적인 분산 협업 정책을 설계하는 데 도전한다.
• 복잡한 작업을 위한 제어 법칙과 통신 프로토콜의 수동 설계에 의존도를 줄이는 기계학습 기반 접근법을 개발한다.
• 고성능 중심 집중식 정책을 확장 가능하고 탈중앙화된 정책으로 전이할 수 있도록 한다.
• 자기조직화된 통신 프로토콜을 분석하여 향후 수동으로 설계된 군집 협업 시스템에 대한 통찰을 확보한다.
• 기존에 알려진 작업(수렵)과 새로운 복잡한 작업(입자 할당)에 대해 이 방법의 효과성을 입증한다. 이는 이전에 분산 솔루션이 없는 문제이다.

제안 방법

• 다단계, 다에이전트 신경망(MSMANN)을 사용하여 모든 에이전트의 다단계 관측치를 다단계 행동으로 매핑함으로써 엔드 투 엔드 백프로파게이션을 가능하게 한다.
• 분산 정책 네트워크는 다양한 깊이 신경망으로 구현되며, 지역 관측치와 도착한 통신 벡터를 처리하여 행동과 새로운 통신 신호를 출력한다.
• 통신 벡터는 MSMANN 내에서 은닉 상태로 간주되어 행동 정책과 통신 프로토콜을 동시에 최적화할 수 있도록 한다.
• 사전 설계된 중심 집중식 정책을 지도로 활용하여 보상 기반 강화 학습 없이도 효율적인 훈련을 가능하게 한다.
• 고정된 크기의 입력 및 출력 통신 벡터를 통해 통신 대역폭 제어가 가능하며, 학습된 표현 분석도 가능하다.
• 2~20명의 에이전트를 포함한 다양한 에이전트 수를 가진 작업에 이 방법을 적용하여 확장성과 일반화 능력을 평가한다.

실험 결과

연구 질문

• RQ1 딥러닝 기반 접근법이 중심 집중식 협업 정책을 로봇 군집의 분산 정책으로 효과적으로 전이할 수 있는가?
• RQ2 학습된 통신 프로토콜은 집단 행동에 어떻게 기여하며, 의미 있는 방식으로 해석할 수 있는가?
• RQ3 이 방법은 기존에 알려진 분산 정책이 없는 복잡한 작업(예: 입자 할당)에서 중심 집중식 정책과 유사한 성능을 달성할 수 있는가?
• RQ4 통신 차원 수가 작업 성능에 미치는 영향은 무엇이며, 효과적인 협업을 위해 필요한 최소한의 통신 용량은 얼마인가?
• RQ5 학습된 분산 정책은 다양한 군집 크기 간에 일반화되며, 복잡한 협업 시나리오에서도 견고성을 유지하는가?

주요 결과

• 다양한 에이전트 수에서 레이저 수렵 작업에서 학습된 분산 정책이 중심 집중식 정책과 유사한 성능을 달성했으며, 최신 기술보다 뛰어난 성능을 보였다.
• 이전에 분산 정책으로 해결되지 않았던 입자 할당 작업에서는, 특히 10명 이하의 소규모 군집에서 중심 집중식 기준선에 근접한 성능을 달성했다.
• 통신 벡터 크기를 2차원에서 1차원으로 줄였을 때 성능에 심각한 하락이 발생하여, 2차원 통신이 방향성 의도를 표현하는 데 필수적임을 시사한다.
• 학습된 정책의 시각화 결과 통신 벡터가 목표 방향을 안내하는 '의도 벡터'로 작용하며, 행동 확률이 통신 벡터의 방향과 일치함을 확인했다.
• 명시적인 규칙 없이도 타겟을 따라가기, 여러 타겟 탐색, 할당 충돌 해결과 같은 자기조직화된 행동이 발생했다.
• 통신 분석 결과, 에이전트들이 방향성 경향을 전달하기 위해 통신을 사용함을 확인했으며, 이는 향후 수동으로 설계된 협업 체계에 영감을 줄 수 있다.