[논문 리뷰] Sampling-based Model Predictive Control Leveraging Parallelizable Physics Simulations

Corrado Pezzato, Chadi Salmi외 4명|arXiv (Cornell University)|2023. 07. 18.

Robotic Path Planning Algorithms인용 수 6

한 줄 요약

이 논문은 동역학 및 접촉 모델링이 필요 없도록 GPU에서 병렬 처리가 가능한 IsaacGym 물리 시뮬레이터를 동적 모델로 사용하는 학습 불필요, 샘플링 기반의 Model Predictive Path Integral (MPPI) 제어 프레임워크를 제안한다. 시뮬레이션에서 실시간으로 병렬적인 궤적 롤아웃을 가능하게 함으로써, 비틀림이 많은 작업, 예를 들어 비抓취적 조작 및 전신 운동 계획과 같은 복잡한 접촉 기반 작업에 대해 강건하고 일반화 가능한 제어를 달성하였으며, 7-DOF 조작기와 전방위 기반을 갖춘 로봇에서 25Hz로 작업 특화 캘리브레이션 없이 실제 환경으로의 성공적인 전이를 이룩하였다.

ABSTRACT

We present a method for sampling-based model predictive control that makes use of a generic physics simulator as the dynamical model. In particular, we propose a Model Predictive Path Integral controller (MPPI), that uses the GPU-parallelizable IsaacGym simulator to compute the forward dynamics of a problem. By doing so, we eliminate the need for explicit encoding of robot dynamics and contacts with objects for MPPI. Since no explicit dynamic modeling is required, our method is easily extendable to different objects and robots and allows one to solve complex navigation and contact-rich tasks. We demonstrate the effectiveness of this method in several simulated and real-world settings, among which mobile navigation with collision avoidance, non-prehensile manipulation, and whole-body control for high-dimensional configuration spaces. This method is a powerful and accessible open-source tool to solve a large variety of contact-rich motion planning tasks.

연구 동기 및 목표

• 명시적인 동역학 또는 접촉 역학 모델링이 필요 없이도 복잡한 로봇 시스템에 대해 일반화 가능하고 실시간으로 작동하는 제어 프레임워크를 개발하는 것.
• 접촉 기반 작업(예: 밀기 및 조작)에서 흔히 발생하는 비연속적이고 하이브리드인 동역학을 다루는 데에 한계가 있는 전통적 MPC의 문제점을 해결하는 것.
• 역행성 기하학적 해법이나 사전 정의된 종단 효과기 경로에 의존하지 않고, 종단 효과기 경로가 아닌 관절 속도를 직접 샘플링하여 고차원 제어를 가능하게 하는 것.
• 시뮬레이션 병렬 처리와 적응형 비용 함수 캘리브레이션을 통해 실제 환경에서의 강인성과 전이 가능성 향상을 도모하는 것.

제안 방법

• 해당 방법은 실시간으로 샘플된 입력 시퀀스의 전방 궤적을 롤아웃하기 위해 미분 가능하고 GPU에서 병렬 처리가 가능한 IsaacGym을 사용한다.
• 각 제어 단계에서 시뮬레이터는 현재 로봇 상태로 재설정되며, 유한한 시간 영역 T 동안 K=500개의 랜덤 입력 시퀀스를 적용하여 후보 궤적을 생성한다.
• MPPI는 중요도 샘플링과 가우시안 노이즈 변형을 사용하여 샘플된 궤적들 위에서 작업 특화 비용 함수를 최소화함으로써 최적의 제어 입력을 계산한다.
• 이 방법은 관절 속도를 직접 샘플링하므로, 역행성 기하학적 해법이나 사전 정의된 종단 효과기 경로에 의존하지 않고도 전신 및 고차원 자유도 제어를 가능하게 한다.
• 이 프레임워크는 모듈러하게 설계되어 있으며, 동역학, 접촉 및 제약 조건은 물리 엔진이 암묵적으로 처리하고, 오직 비용 함수만 정의하면 된다.
• 이 방법은 25Hz에서 실시간 실행이 가능하며, 지속적인 재계획 수립을 통해 외란에 대한 온라인 적응이 가능하다.

실험 결과

연구 질문

• RQ1 물리 시뮬레이터를 MPPI에서 블랙박스 동적 모델로 사용하여, 로봇 제어에서 명시적인 접촉 및 동역학 모델링이 필요 없도록 할 수 있는가?
• RQ2 GPU 병렬 처리가 가능한 시뮬레이션을 사용할 경우, 고차원 자유도 시스템에 대해 샘플링 기반 MPC의 확장성과 실시간 성능가 어떻게 향상되는가?
• RQ3 이 프레임워크는 동역학 모델의 재학습 또는 재캘리브레이션 없이도 다양한 로봇과 작업에 대해 얼마나 일반화될 수 있는가?
• RQ4 비용 함수 가중치만 재캘리브레이션하는 조건에서, 실세계 외란과 시뮬레이션에서 실제 환경으로의 전이에 대해 이 방법의 강인성은 어느 정도인가?
• RQ5 MPPI에서 관절 속도를 직접 샘플링하는 것이, 비抓취적 조작 작업에서 기존의 종단 효과기 경로 기반 접근 방식보다 우월한가?

주요 결과

• 7-DOF 조작기와 전방위 기반을 갖춘 로봇에서 25Hz로 실시간 제어를 달성하였으며, 시뮬레이션과 실제 실험에서 작업 완료 시간과 최종 위치 오차가 유사한 성능을 보였다.
• 실제 실험에서의 밀기 작업은 수동 외란에 대해 강인했으며, 사전 정의된 밀이 개체 구성 없이도 로봇이 자동으로 접촉점을 보정하고 재배치하는 데 성공하였다.
• 특히 동적 접촉 재구성과 비抓취적 조작이 필요한 상황에서, 기존 기반 방법보다 우수한 성능을 보였다.
• 실제 실험에서의 밀기 작업에 대해, 작업 완료 시간과 최종 위치 오차가 시뮬레이션 결과의 10% 이내로 유지되어 강력한 시뮬레이션에서 실제 환경으로의 전이 능력을 입증하였다.
• 접촉이 없는 작업에서는 최신 기술 대비 경쟁 가능한 성능를 보였으며, 접촉 기반 상황에서는 그 성능를 크게 뛰어넘었다.
• 실제 환경 배포에 있어, 시간 영역, 샘플 수, 제어 주기, 무작위화 전략에 대한 변경 없이 비용 함수 재캘리브레이션만으로도 성공적으로 적용되었다.