[논문 리뷰] Multi-Objective Policy Generation for Multi-Robot Systems Using Riemannian Motion Policies

Anqi Li, Mustafa Mukadam외 2명|arXiv (Cornell University)|2019. 02. 14.

Reinforcement Learning in Robotics인용 수 4

한 줄 요약

이 논문은 작업별로 특화된 다양한 다양체 위에 하위작업 제어기를 정의함으로써, 다중목표 다중로봇 제어를 위한 리emann 운동 정책(RMP) 기반 프레임워크를 제안한다. 이는 중심집중형 및 분산형 RMPflow 알고리즘을 통해 안정적이고 조율된 행동을 가능하게 한다. 제안된 방법은 시스템 안정성을 확보하고 복잡한 상호작용을 처리하며, 존재하는 제어기를 근사함과 동시에 시뮬레이션 및 실제 로봇 실험을 통해 편성 유지, 충돌 회피, 순환 추적을 실현한다.

ABSTRACT

In many applications, multi-robot systems are required to achieve multiple objectives. For these multi-objective tasks, it is oftentimes hard to design a single control policy that fulfills all the objectives simultaneously. In this paper, we focus on multi-objective tasks that can be decomposed into a set of simple subtasks. Controllers for these subtasks are individually designed and then combined into a control policy for the entire team. One significant feature of our work is that the subtask controllers are designed along with their underlying manifolds. When a controller is combined with other controllers, their associated manifolds are also taken into account. This formulation yields a policy generation framework for multi-robot systems that can combine controllers for a variety of objectives while implicitly handling the interaction among robots and subtasks. To describe controllers on manifolds, we adopt Riemannian Motion Policies (RMPs), and propose a collection of RMPs for common multi-robot subtasks. Centralized and decentralized algorithms are designed to combine these RMPs into a final control policy. Theoretical analysis shows that the system under the control policy is stable. Moreover, we prove that many existing multi-robot controllers can be closely approximated by the framework. The proposed algorithms are validated through both simulated tasks and robotic implementations.

연구 동기 및 목표

• 다중목표를 동시에 수행하는 다중로봇 시스템에 대해 안정적이고 조율된 제어 정책을 설계하는 데 도전하는 것.
• 고차원 구성 공간이 아닌 내재된 다양체 위에 하위작업 행동을 정의함으로써 통합된 제어기에서 발생하는 불안정성과 갈등을 해결하는 것.
• 편성 제어, 충돌 회피, 순환 추적과 같은 다양한 다중로봇 행동을 표현하고 통합할 수 있는 일반화 가능한 프레임워크를 개발하는 것.
• 중앙집중형 및 분산형 RMP 기반 제어 정책에 대한 이론적 안정성 보장을 제공하는 것.
• 복잡한 다중목표 작업을 대상으로 시뮬레이션과 실제 로봇 배치를 통해 프레임워크를 검증하는 것.

제안 방법

• 각 하위작업(예: 편성, 목표 향해 이동, 충돌 회피)의 제어기는 그 목적에 맞는 저차원 다양체 위에 정의되며, 리만 기하학을 활용한다.
• 리만 운동 정책(RMPs)을 사용하여 각 하위작업 제어기를 인코딩하고, 상태에 따라 가중치와 행렬형 피드백을 적용하여 기하학적 일致성을 확보한다.
• 중앙집중형 RMPflow 프레임워크는 리만 기하학적 기울기와 헤시안을 반복적으로 계산함으로써 RMP들을 통합하여 다수의 제어기를 안정적으로 집계한다.
• 분산형 부분 RMPflow 알고리즘을 제안하며, 각 로봇이 국소 정보만을 사용하여 자체 제어 정책을 계산함으로써 확장성을 확보한다.
• 리만 메트릭을 사용하여 하위작업의 상대적 중요도를 인코딩함으로써 자연스러운 우선순위 부여와 충돌 해결이 가능하다.
• 기울기 기반 시스템(GDS)을 사용하여 감쇠 행동을 정의함으로써 로봇가 목표에 정확하게 정지할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 유럽형 구성 공간이 아닌 내재된 다양체 위에 하위작업 제어기를 정의함으로써 다중목표 다중로봇 제어를 안정화시킬 수 있는가?
• RQ2 리만 운동 정책은 다수의 하위작업 제어기를 어떻게 통합하면서도 안정성과 갈등을 피할 수 있는가?
• RQ3 기존의 다중로봇 제어기(예: 편성 제어, 순환 추적, 충돌 회피 등)는 이 프레임워크 내에서 얼마나 정확히 근사될 수 있는가?
• RQ4 중앙집중형 및 분산형 RMPflow 알고리즘의 이론적 안정성 특성은 다중로봇 시스템에서 어떻게 나타나는가?
• RQ5 이 프레임워크는 실제 로봇에 효과적으로 구현되어 복잡한 다중목표 행동을 달성할 수 있는가?

주요 결과

• 중앙집중형 RMPflow 프레임워크는 오각형 팀과 정사각형 팀으로 구성된 두 개의 하위팀이 편성을 유지하면서도 두 목표 사이를 충돌 없이 왕복 운동을 수행했으며, 로봇들이 서로를 회전시키며 갈등을 회피하는 데 성공했다.
• 분산형 실험에서는 다섯 대의 로봇이 반경 1m의 원형 경로를 순환 추적했고, 다른 세 대의 로봇은 원 안을 통과하면서 충돌 없이 이동하여 안정성과 확장성을 입증했다.
• 모든 시뮬레이션 및 실제 로봇 배치에서 시스템은 안정적인 수렴과 완전한 조율을 달성했으며, 불안정성이나 제어기 갈등은 관측되지 않았다.
• 이론적 분석을 통해 RMPflow 프레임워크가 생성하는 제어 정책이 중앙집중형 및 분산형 구성 모두에서 다중로봇 시스템의 점근적 안정성을 보장함을 증명했다.
• 이 프레임워크는 편성 제어, 목표 향해 이동, 충돌 회피 등 다양한 기존의 잠재력 기반 다중로봇 제어기를 근사할 수 있으며, 높은 정밀도로 표현할 수 있었다.
• 다양체의 사용은 저차원이며 더 해석 가능한 제어 설계를 가능하게 하였고, 동시에 다수의 목표 간 복잡한 상호작용을 해결할 수 있는 충분한 자유도를 유지하였다.