[논문 리뷰] Learning a Decentralized Multi-Arm Motion Planner

Huy Ha, Jingxi Xu외 1명|arXiv (Cornell University)|2020. 01. 01.

Robot Manipulation and Learning인용 수 3

한 줄 요약

이 논문은 소프트 액터-크리틱과 BiRRT에서 유도된 전문가 시범을 활용한 다중 에이전트 강화학습을 사용하여 분산형, 폐쇄형 루프 다중 암 운동 계획기를 제안한다. 이는 정적 목표물이 있는 1~4 암 시스템에서만 훈련되었음에도 불구하고, 5~10 암의 동적 환경에서 비선형적 확장성과 90% 이상의 높은 성공률을 달성한다.

ABSTRACT

We present a closed-loop multi-arm motion planner that is scalable and flexible with team size. Traditional multi-arm robot systems have relied on centralized motion planners, whose runtimes often scale exponentially with team size, and thus, fail to handle dynamic environments with open-loop control. In this paper, we tackle this problem with multi-agent reinforcement learning, where a decentralized policy is trained to control one robot arm in the multi-arm system to reach its target end-effector pose given observations of its workspace state and target end-effector pose. The policy is trained using Soft Actor-Critic with expert demonstrations from a sampling-based motion planning algorithm (i.e., BiRRT). By leveraging classical planning algorithms, we can improve the learning efficiency of the reinforcement learning algorithm while retaining the fast inference time of neural networks. The resulting policy scales sub-linearly and can be deployed on multi-arm systems with variable team sizes. Thanks to the closed-loop and decentralized formulation, our approach generalizes to 5-10 multi-arm systems and dynamic moving targets (>90% success rate for a 10-arm system), despite being trained on only 1-4 arm planning tasks with static targets. Code and data links can be found at this https URL.

연구 동기 및 목표

• 중앙집중식 운동 계획기의 다중 암 로봇 시스템에서의 확장성 한계를 해결하기 위해.
• 오픈 루프 제어를 폐쇄형 루프, 분산형 정책으로 대체하여 동적 환경에서 빠르고 실시간 운동 계획을 가능하게 하기 위해.
• 클래식한 샘플링 기반 계획기인 BiRRT와 같은 전문가 시범을 통합하여 강화학습의 샘플 효율성과 학습 안정성을 향상시키기 위해.
• 다양한 팀 규모와 동적 목표 조건에 일반화되는 확장 가능하고 유연한 프레임워크를 개발하기 위해.
• 각 구성에 대해 광범위한 재훈련 없이도 복잡한 다중 암 시나리오에서 높은 성공률를 달성하기 위해.

제안 방법

• 개별 로봇 암을 국소적 관측(작업공간 상태 및 목표 엔드일드 포즈) 기반으로 제어하기 위해 소프트 액터-크리틱(SAC)을 사용하여 분산형 정책을 훈련한다.
• 강화학습 과정을 안내하기 위해 BiRRT 샘플링 기반 운동 계획 알고리즘을 사용하여 전문가 시범을 생성한다.
• 정책은 정적 목표물이 있는 1~4 암 시스템에서 훈련되었지만, 폐쇄형 루프 및 분산형 설계 덕분에 5~10 암 시스템과 동적 목표물로 일반화된다.
• 관측 공간은 국소적 작업공간 상태와 목표 포즈를 포함하여 각 에이전트가 자신의 인식 기반으로 독립적으로 행동할 수 있도록 한다.
• 고전적 계획기(BiRRT)를 데이터 소스로 사용함으로써 샘플 효율성이 향상되고 훈련 중 타당한 궤적을 보장한다.
• 결과 정책는 팀 규모에 대해 비선형적 런타임 확장성을 보이며, 대규모 다중 암 시스템에서 실시간 구현을 지원한다.

실험 결과

연구 질문

• RQ1 1~4 암 시스템에서 훈련된 분산형 폐쇄형 루프 운동 계획기는 5~10 암의 더 큰 시스템으로 일반화될 수 있는가?
• RQ2 정적 목표물에서만 훈련되었음에도 불구하고, 이 계획기는 움직이는 목표물이 있는 동적 환경에서 얼마나 잘 작동하는가?
• RQ3 전통적 계획기에서 유도된 강화학습과 전문가 시범을 통합하면 샘플 효율성과 최종 성능이 향상되는가?
• RQ4 팀 규모 증가에 따라 계획기가 비선형적으로 확장되는가? 중앙집중식 계획기의 지수적 런타임 증가를 피할 수 있는가?
• RQ5 변동하는 팀 규모와 동적 목표물이 있는 복잡한 혼잡한 환경에서 정책의 성공률는 얼마인가?

주요 결과

• 제안된 계획기는 정적 목표물이 있는 1~4 암 시스템에서만 훈련되었음에도 불구하고, 동적 이동 목표물이 있는 10암 시스템에서 90% 이상의 성공률를 달성한다.
• 이 방법은 팀 규모에 대해 비선형적으로 확장되며, 대규모 다중 암 시스템에서 효율적인 실시간 계획을 가능하게 한다.
• 폐쇄형 루프 및 분산형 정책 구조 덕분에 재훈련 없이도 더 큰 팀과 동적 목표물로의 일반화가 가능하다.
• BiRRT에서 유도된 전문가 시범 통합은 학습 효율성과 정책 성능을 크게 향상시킨다.
• 다양한 구성에서 높은 성능를 유지하며, 복잡한 환경에서 강건성과 유연성을 입증한다.
• 실시간 환경에서의 동적 변화에 대한 적응성과 확장성 면에서 전통적인 중앙집중식 계획기보다 뛰어난 성능을 보인다.