[논문 리뷰] Decentralized Task and Path Planning for Multi-Robot Systems

Yuxiao Chen, Ugo Rosolia외 1명|arXiv (Cornell University)|2020. 11. 19.

Reinforcement Learning in Robotics참고 문헌 28인용 수 4

한 줄 요약

이 논문은 다중 로봇 시스템을 위한 완전히 탈중앙화된 작업 및 경로 계획(DTPP) 프레임워크를 제안한다. 이 프레임워크는 작업 할당과 충돌 없는 경로 계획을 동시에 최적화한다. 마르코프 결정 과정(MDPs) 또는 부분 관측 가능 MDPs(MOMDPs)의 요소 그래프 표현을 사용하여, 최대합 알고리즘은 예상 순수 보상(보상에서 비용을 뺀 값)을 최대화하는 방식으로 탈중앙화된 작업 할당을 가능하게 하며, 국소적 정방향 동적 프로그래밍 기법은 실시간으로 에이전트 간 충돌을 해결한다. 이는 ROS 시뮬레이션과 세그웨이 및 터틀봇 플랫폼을 이용한 실제 실험을 통해 입증되었다.

ABSTRACT

We consider a multi-robot system with a team of collaborative robots and multiple tasks that emerges over time. We propose a fully decentralized task and path planning (DTPP) framework consisting of a task allocation module and a localized path planning module. Each task is modeled as a Markov Decision Process (MDP) or a Mixed Observed Markov Decision Process (MOMDP) depending on whether full states or partial states are observable. The task allocation module then aims at maximizing the expected pure reward (reward minus cost) of the robotic team. We fuse the Markov model into a factor graph formulation so that the task allocation can be decentrally solved using the max-sum algorithm. Each robot agent follows the optimal policy synthesized for the Markov model and we propose a localized forward dynamic programming scheme that resolves conflicts between agents and avoids collisions. The proposed framework is demonstrated with high fidelity ROS simulations and experiments with multiple ground robots.

연구 동기 및 목표

• 작업이 시간이 지남에 따라 발생하고 이를 조율해야 하는 다중 로봇 시스템에서 탈중앙화된 작업 및 경로 계획 문제를 해결한다.
• 다중 로봇 팀의 예상 순수 보상(보상에서 비용을 뺀 값)을 탈중앙화 방식으로 최대화한다.
• 중앙 집중식 조율 또는 전역 상태 지식 없이도 경로 실행 중 발생하는 에이전트 간 갈등을 해결한다.
• 지역적이고 분산된 계산을 활용하여 실시간으로 확장 가능한 다중 로봇 시스템의 조율을 가능하게 한다.

제안 방법

• 각 로봇은 스토케스틱 동역학과 부분 관측 가능성을 표현하는 MDP 또는 MOMDP로 모델링된다.
• 총 예상 순수 보상은 요소 그래프로 표현되며, 이 경우 노드는 작업을 나타내고 간선은 에이전트 간 의존성을 나타낸다.
• 최대합 알고리즘을 요소 그래프에 적용하여 완전히 탈중앙화된 방식으로 최적의 작업 할당을 해결한다.
• 국소적 정방향 동적 프로그래밍 기법은 실시간으로 로컬 경로 재계획을 통해 에이전트 간 잠재적 충돌을 해결한다.
• 고수준 명령어는 저수준 제어기(MPC 또는 PID 등)로 전달되며, 이들은 웨이포인트와 제약 조건에 기반해 실시간 제어 입력을 생성한다.
• 시스템은 계층적이고 분산된 아키텍처를 통해 작업 할당, 갈등 해소, 저수준 제어를 통합한다.

실험 결과

연구 질문

• RQ1 완전히 탈중앙화된 다중 로봇 시스템에서 작업 할당과 경로 계획을 어떻게 공동 최적화할 수 있는가?
• RQ2 최대합 알고리즘이 부분 관측 가능성을 고려한 탈중앙화된 MDP/MOMDP 프레임워크에서 최적의 작업 할당을 효과적으로 해결할 수 있는가?
• RQ3 전역 조율나 향후 행동에 대한 사전 지식 없이도 에이전트 간 갈등을 국소적으로 어떻게 해결할 수 있는가?
• RQ4 DTPP 프레임워크는 동적인 실제 환경에서 예상 순수 보상과 충돌 회피 측면에서 어떤 성능을 보이는가?

주요 결과

• DTPP 프레임워크는 최대합 알고리즘을 활용해 다수의 로봇 간에 탈중앙화된 작업 할당을 성공적으로 달성하였으며, 예상 순수 보상의 최대화를 이룩하였다.
• 국소적 정방향 동적 프로그래밍 기법은 트랙토리 간 충돌이 발생하더라도 실시간으로 에이전트 간 충돌을 효과적으로 방지하였다.
• 세 대의 세그웨이 로봇을 사용한 ROS 시뮬레이션에서는 기존 작업이 만료될 경우 시스템이 동적으로 작업을 재할당하며, 안전한 주행을 보장하기 위해 갈등을 해결하였다.
• 5×5 격자에서 두 대의 터틀봇을 이용한 실험에서는, 최대합 알고리즘이 유리한 경우 로봇을 서로 다른 작업에 할당하였고, 비용을 줄이기 위해 한 로봇이 정지해 있는 것을 허용하였다.
• 예상 순수 보상 곡선(그림 8)은 새로운 작업이 발생할 경우 동적으로 적응함을 보였으며, 고보상 작업이 등장할수록 효율적으로 할당되면서 값이 증가하였다.
• MPC 및 PID 제어기를 사용하여 실시간 성능을 유지하였고, 물리적 로봇에서 안정적인 실행을 가능케 하였다.