[논문 리뷰] Graph Policy Gradients for Large Scale Robot Control

Arbaaz Khan, Ekaterina Tolstaya외 2명|arXiv (Cornell University)|2019. 07. 08.

Reinforcement Learning in Robotics참고 문헌 32인용 수 21

한 줄 요약

이 논문은 대규모 다로봇 시스템을 위한 확장 가능하고 대칭적인 정책을 학습하기 위해 그래프 컬러리션 네트워크(GCNs)를 사용하는 강화학습 방법인 그래프 정책 기울기(GPG)를 제안한다. 로봇 간의 국소적 그래프 구조를 활용함으로써, GPG는 단 3대의 로봇에서 훈련된 정책을 100대 이상의 로봇으로 제로샷 전이를 가능하게 하여, 형성 비행 작업에서 완전히 연결된 기반선 대비 뚜렷한 성능 향상을 이룬다.

ABSTRACT

In this paper, we consider the problem of learning policies to control a large number of homogeneous robots. To this end, we propose a new algorithm we call Graph Policy Gradients (GPG) that exploits the underlying graph symmetry among the robots. The curse of dimensionality one encounters when working with a large number of robots is mitigated by employing a graph convolutional neural (GCN) network to parametrize policies for the robots. The GCN reduces the dimensionality of the problem by learning filters that aggregate information among robots locally, similar to how a convolutional neural network is able to learn local features in an image. Through experiments on formation flying, we show that our proposed method is able to scale better than existing reinforcement methods that employ fully connected networks. More importantly, we show that by using our locally learned filters we are able to zero-shot transfer policies trained on just three robots to over hundred robots.

연구 동기 및 목표

• 대규모 동일한 로봇 집단의 제어 정책을 훈련할 때 발생하는 확장성 문제를 해결하기 위해.
• 로봇 간의 잠재적 그래프 대칭성을 활용하여 다로봇 강화학습에서 차원의 저주 문제를 완화하기 위해.
• 국소적으로 학습된 그래프 필터를 사용하여 소규모에서 대규모 로봇 군집으로 정책의 제로샷 전이를 가능하게 하기 위해.
• 예를 들어 시뮬레이션된 공중 형성 비행과 같은 복잡한 고차원 제어 환경에서 샘플 효율성을 향상시키기 위해.
• 그래프 구조 정책 매개변수화가 완전히 연결된 네트워크보다 빠른 수렴과 더 나은 일반화를 가능하게 하는지 입증하기 위해.

제안 방법

• 각 로봇의 정책을 그래프 컬러리션 네트워크(GCNs)로 매개변수화하여, 동적으로 정의된 로봇 상호작용 그래프에서 국소적 이웃 정보를 활용한다.
• 각 로봇의 정책은 가중치를 학습 가능한 그래프 필터를 통해 K-호프 이웃 특징을 집계함으로써 조건화되며, 이는 차원을 감소시키고 순열 등변성(permutation equivariance)을 강제한다.
• 중앙 집중적 훈련과 분산 실행을 사용하는 온정책 정책 기울기 강화학습을 통해 공유 보상 신호를 사용하여 정책을 훈련한다.
• 그래프 구조는 공간적 근접성(예: 거리 < ε) 기반으로 정의되며, 모든 로봇의 상태 신호 벡터에 대한 지원을 제공한다.
• 그래프 컬러리션의 순열 등변성은 로봇 순서의 변화에 대해 강건성을 보장하여, 대규모 로봇 수에서의 훈련을 안정화시킨다.
• 이 방법은 시뮬레이션에서 점질량 및 단일 통합자 동역학 모두에 적용되었으며, 실시간 공기역학적 동역학을 구현한 AirSim을 포함한다.

실험 결과

연구 질문

• RQ1 그래프 구조 정책 매개변수화는 다로봇 강화학습에서 샘플 복잡도를 줄이고 확장성을 향상시키는가?
• RQ2 그래프 기반 함수 근사법을 사용할 때, 소수의 로봇에서 훈련된 정책이 얼마나 큰 군집으로 성공적으로 전이될 수 있는가?
• RQ3 지역 그래프 필터의 사용이 완전히 연결된 네트워크와 비교해 형성 제어 작업의 수렴 속도와 성능에서 어떤가?
• RQ4 GPG는 유한 질량과 속도 상태를 포함한 복잡하고 현실적인 동역학, 예를 들어 실시간 시뮬레이터에서 일반화 가능한가?
• RQ5 GCN의 순열 등변성은 동적 그래프 구조를 가진 대규모 다로봇 시스템에서 훈련을 안정화시키는 데 기여하는가?

주요 결과

• GPG는 단 3대의 로봇에서 훈련된 정책을 형성 비행 작업에서 100대 이상의 로봇으로 성공적으로 제로샷 전이하여 재훈련 없이도 안정적이고 조율된 행동을 달성한다.
• 로봇 수가 증가할수록 완전히 연결된 기반선 네트워크보다 더 빠르게 수렴하고 더 나은 일반화 성능을 보인다.
• 실제 단일 통합자 동역학과 노이즈가 있는 관측값을 포함한 AirSim 시뮬레이션 환경에서, GPG는 50,000 에피소드 이내에 합리적인 행동을 학습하지 못하는 기반선을 능가한다.
• 그래프 컬러리션의 사용은 효과적인 국소적 특징 추출을 가능하게 하여 정책 입력 공간의 유효 차원을 감소시킨다.
• GCN의 순열 등변성은 탐색 도중 로봇 순서나 그래프 구조가 변화하더라도 안정적인 훈련을 보장한다.
• GPG는 고차원 연속 제어 환경에서 샘플 효율적인 학습을 가능하게 하여 대규모 다로봇 정책 학습의 실현 가능성을 높인다.