[논문 리뷰] Graph Policy Gradients for Large Scale Unlabeled Motion Planning with Constraints

Arbaaz Khan, Vijay Kumar외 1명|arXiv (Cornell University)|2019. 09. 24.

Multimodal Machine Learning Applications참고 문헌 15인용 수 4

한 줄 요약

이 논문은 제약 조건이 있는 대규모 비라벨링 운동 계획을 위한 확장 가능한 강화학습 프레임워크인 그래프 정책 기울기(GPG)를 제안한다. 그래프 컬러이션 네트워크(GCNs)를 사용해 분산 정책를 매개변수화함으로써 GPG는 소규모에서 대규모 로봇 군집으로의 제로샷 전이를 가능하게 하여, 다양한 군집 크기와 목표 구성에서 중심화된 오라클 솔루션과 약 12–15초 이내의 근사 최적 성능을 달성한다.

ABSTRACT

In this paper, we present a learning method to solve the unlabelled motion problem with motion constraints and space constraints in 2D space for a large number of robots. To solve the problem of arbitrary dynamics and constraints we propose formulating the problem as a multi-agent problem. In contrast to previous works that propose using learning solutions for unlabelled motion planning with constraints, we are able to demonstrate the scalability of our methods for a large number of robots. The curse of dimensionality one encounters when working with a large number of robots is mitigated by employing a graph convolutional neural (GCN) network to parametrize policies for the robots. The GCN reduces the dimensionality of the problem by learning filters that aggregate information among robots locally, similar to how a convolutional neural network is able to learn local features in an image. Additionally, by employing a GCN we are also able to overcome the computational overhead of training policies for a large number of robots by first training graph filters for a small number of robots followed by zero-shot policy transfer to a larger number of robots. We demonstrate the effectiveness of our framework through various simulations.

연구 동기 및 목표

• 역동성과 공간적 제약 조건이 있는 비라벨링 다중로봇 운동 계획의 확장성 문제를 해결한다.
• 대규모 수의 로봇에 대한 정책 학습에서 발생하는 차원의 극복 문제와 계산 오버헤드를 해결한다.
• 그래프 기반 정보 집계를 통해 로봇 간의 분산형, 국소적 협업을 가능하게 한다.
• 중앙집중식으로 증명 가능한 정확한 방법과 비교해 근사 최적 성능을 달성하면서도 확장성을 유지한다.
• 학습된 그래프 필터를 활용해 소규모에서 대규모 로봇 군집으로의 제로샷 정책 전이를 구현한다.

제안 방법

• 로봇 상호작용 토폴로지가 그래프 구조를 띠는 다에이전트 강화학습(MARL) 문제로 비라벨링 운동 계획 문제를 수식화한다.
• 로봇 정책를 매개변수화하기 위해 그래프 컬러이션 네트워크(GCNs)를 사용하며, 가중치가 학습 가능한 필터를 통해 K-호프 이웃으로부터 국소 정보 집계를 가능하게 한다.
• 로봇 간의 유클리드 거리 기반 연결성을 기반으로 그래프를 정의하며, 각 로봇은 감지 반경 내에서 가장 가까운 이웃과 목표를 관측한다.
• 소규모 로봇 구성에서 정책을 학습하고, 그래프 크기에 관계없이 필터 크기가 일정한 성질을 활용해 대규모 군집으로 제로샷 전이를 수행한다.
• 학습 중에는 중심화된 크리틱을 사용해 정책 기울기 갱신을 수행하지만, 추론은 완전히 분산된 방식을 유지한다.
• 모든 목표가 커버되었을 때만 보상이 0이 되는 희소 보상 함수를 사용하여, 명시적 작업 레이블 없이도 커버리지 성능을 유도한다.

실험 결과

연구 질문

• RQ1 그래프 컬러이션 네트워크는 제약 조건이 있는 대규모 비라벨링 운동 계획을 위한 확장 가능하고 분산된 정책 학습을 가능하게 하는가?
• RQ2 소규모 로봇 군집에서 학습한 정책가 대규모 군집으로 재학습 없이 제로샷 전이되는 정도는 어느 정도인가?
• RQ3 시간-목표 측면에서 분산형 GPG 프레임워크의 성능이 중심화된 최적 솔루션과 얼마나 가까운가?
• RQ4 국소적 그래프 기반 정보 집계 방식이 확장성과 협업 능력에서 완전 연결 네트워크보다 뛰어나다고 할 수 있는가?
• RQ5 군집 크기와 목표 복잡성이 증가함에 따라, 최적 중심화 솔루션 대비 일관된 성능 갭을 유지할 수 있는가?

주요 결과

• GPG는 모든 테스트된 형성에서 중심화된 CAPT 오라클 솔루션과 약 12–15초 이내의 시간-목표 성능을 달성하여 근사 최적 성능을 보였다.
• 로봇 수가 증가하거나 목표 거리가 길어져도 GPG와 중심화된 오라클 간의 성능 격차가 거의 일정하게 유지되며 약 12–15초 수준을 유지한다.
• 소규모에서 대규모 군집으로의 제로샷 정책 전이가 효과적이며, 소규모 그래프에서 학습된 정책가 재학습 없이도 대규모 그래프에 성공적으로 적용된다.
• 로봇의 국소 관측 영역이 겹치거나 감지 반경이 제한되어 있어도, 프레임워크는 모든 목표를 커버하면서 충돌 없이 로봇 군집을 성공적으로 조율한다.
• GPG는 군집 크기와 관계없이 일정한 이웃 상호작용 기수(고정된 K-호프 이웃 수)를 유지함으로써 확장성을 입증하였으며, 차원의 극복 문제를 완화한다.
• GCN의 사용은 로봇 그래프를 통해 국소적 특징 학습과 정보 전파를 가능하게 하여, 협동적이고 충돌 없는 커버리지 행동을 유도한다.