[논문 리뷰] The Holy Grail of Multi-Robot Planning: Learning to Generate Online-Scalable Solutions from Offline-Optimal Experts

Amanda Prorok, Jan Blumenkamp외 4명|arXiv (Cornell University)|2021. 07. 26.

Reinforcement Learning in Robotics인용 수 6

한 줄 요약

이 논문은 애벌레 기반 프레임워크를 제안하며, 오프라인 최적의 다중로봇 계획을 온라인 확장 가능하고 분산형 정책으로 압축하는 데에 애벌레 학습을 활용한다. 중앙집중식 최적 전문가(예: 충돌 기반 탐색를 통해)의 행동을 모방하도록 정책을 훈련시킴으로써, 대규모 시스템에서 거의 최적의 성능를 달성한다 — 200×200 지도에서 1,000台의 로봇을 사용할 때 80%의 성공률를 기록하며 전문가의 1/30에 불과한 계산량을 사용한다 — 동시에 시뮬레이션에서 실제 환경으로의 전이 및 통신 내성 문제를 해결한다.

ABSTRACT

Many multi-robot planning problems are burdened by the curse of dimensionality, which compounds the difficulty of applying solutions to large-scale problem instances. The use of learning-based methods in multi-robot planning holds great promise as it enables us to offload the online computational burden of expensive, yet optimal solvers, to an offline learning procedure. Simply put, the idea is to train a policy to copy an optimal pattern generated by a small-scale system, and then transfer that policy to much larger systems, in the hope that the learned strategy scales, while maintaining near-optimal performance. Yet, a number of issues impede us from leveraging this idea to its full potential. This blue-sky paper elaborates some of the key challenges that remain.

연구 동기 및 목표

• 소규모 중심 집중형 계획기에서 유도된 최적 솔루션을 대규모 분산형 시스템으로 전이함으로써 다중로봇 계획의 확장성 격차를 해소한다.
• 공동 상태-행동 공간의 차원의 저주를 극복하기 위해 오프라인 학습을 활용해 온라인 계산을 외부화한다.
• 실세계에의 분산형 다중로봇 정책 구현을 가능하게 하기 위해 현실 인식 훈련과 내성적인 통신 전략을 통해 시뮬레이션-실세계 간 격차를 메운다.
• 중앙집중적 최적성과 분산 실행을 조합함으로써 최적성과 확장성의 균형을 이루는 프레임워크를 개발한다.
• 구조적 데이터 생성 및 통신 학습을 통해 스케일 및 부분 관측 가능성에 대한 정책 일반화를 보장한다.

제안 방법

• 소규모 로봇 팀을 위한 고품질의 충돌 없는 경로를 생성하기 위해 중심 집중형 최적 계획기(예: 충돌 기반 탐색)를 사용한다.
• 전문가의 공동 행동을 모방하도록 애벌레 학습을 통해 분산 정책을 훈련시켜 국지적 실행과 전역 성능를 동시에 확보한다.
• 부분 관측 가능성과 전체 상태 접근 없이도 협업을 향상시키기 위해 정책에 통신 전략을 통합한다.
• 실제 환경 배포에서 메시지 지연, 손실, 비동기 통신에 대한 내성성을 향상시키기 위해 도메인 랜덤라이제이션과 현실적인 네트워크 시뮬레이션을 적용한다.
• 실세계-시뮬레이션 전이 기법(예: 실세계-시뮬레이션 적응 및 피어드 페더레이티드 학습)을 사용하여 다중로봇 시스템의 현실 격차를 해소한다.
• 환경의 점진적 확대(예: 20×20에서 200×200 지도까지)를 통해 확장성과 훈련 스케일을 초월한 일반화 능력을 평가한다.

실험 결과

연구 질문

• RQ1 소규모, 중심 집중형 최적 계획에서 훈련된 분산 정책이 대규모 다중로봇 시스템으로 일반화되어 거의 최적의 성능를 유지할 수 있는가?
• RQ2 부분 관측 가능성 하에서 분산형 다중로봇 시스템에서 효과적으로 통신을 학습할 수 있는가? 이는 협업 유지에 기여하는가?
• RQ3 다중로봇 시스템의 시뮬레이션-실세계 전이에서 주요 실패 유형은 무엇인가? 특히 메시지 지연과 비동기 실행과 관련하여?
• RQ4 오프라인 최적 전문가로부터의 애벌레 학습이 대규모 협업 과제에서 전통적인 분산형 또는 강화 학습 기반 기준보다 얼마나 뛰어나게 성능을 높일 수 있는가?
• RQ5 모의 환경 설계 및 훈련 전략을 통해 다중로봇 시스템의 시뮬레이션-실세계 전이 격차는 어떻게 완화할 수 있는가?

주요 결과

• 20×20 지도에서 10대의 로봇에서 훈련된 정책이 200×200 지도에서 1,000대의 로봇에 배포되었을 때 80% 이상의 성공률를 기록하여 뛰어난 확장성을 입증하였다.
• 학습된 정책는 중심 집중형 전문가의 1/30에 불과한 계산 시간을 요구하여 온라인 확장성의 가능성을 확인하였다.
• 이 방법은 분산형 다중에이전트 경로 계획에서 96% 이상의 성공률를 기록하여 이전의 학습 기반 접근보다 뛰어난 성능를 보였다.
• 초기 결과에서는 소규모 부분 관측 환경에서 학습된 국지적 협업 패턴이 대규모 구조적 환경으로 일반화될 수 있음을 보여주었다.
• 도메인 랜덤라이제이션과 현실적인 시뮬레이션은 통신 지연 및 메시지 손실에 대한 내성성을 향상시켰지만, 최적화되지 않은 정책가 발생할 수 있었다.
• 애벌레 학습에 통신 학습을 통합함으로써 부분 관측 가능성 하에서도 중심 집중형 최적에 가까운 성능를 유지할 수 있는 분산 정책를 가능케 하였다.