[논문 리뷰] STORM: An Integrated Framework for Fast Joint-Space Model-Predictive Control for Reactive Manipulation

Mohak Bhardwaj, Balakumar Sundaralingam외 5명|arXiv (Cornell University)|2021. 04. 27.

Advanced Control Systems Optimization인용 수 23

한 줄 요약

STORM는 부드러운 궤적 최적화, 제약 조건 처리, 학습된 인식 기능을 통합함으로써 고차원 로봇에서 실시간 반응형 조작을 가능하게 하는 GPU 가속화된, 공동 공간 기반의 모델 예측 제어 프레임워크를 제안한다. 프랭카 펜다 로봇에서 125Hz 제어 주파수(8ms 지연)를 달성하며, 작업 공간 목표, 관절 한계, 특이점 회피, 원시 포인트 클라우드로부터의 학습된 충돌 감지 기능을 지원한다.

ABSTRACT

Sampling-based model-predictive control (MPC) is a promising tool for feedback control of robots with complex, non-smooth dynamics, and cost functions. However, the computationally demanding nature of sampling-based MPC algorithms has been a key bottleneck in their application to high-dimensional robotic manipulation problems in the real world. Previous methods have addressed this issue by running MPC in the task space while relying on a low-level operational space controller for joint control. However, by not using the joint space of the robot in the MPC formulation, existing methods cannot directly account for non-task space related constraints such as avoiding joint limits, singular configurations, and link collisions. In this paper, we develop a system for fast, joint space sampling-based MPC for manipulators that is efficiently parallelized using GPUs. Our approach can handle task and joint space constraints while taking less than 8ms~(125Hz) to compute the next control command. Further, our method can tightly integrate perception into the control problem by utilizing learned cost functions from raw sensor data. We validate our approach by deploying it on a Franka Panda robot for a variety of dynamic manipulation tasks. We study the effect of different cost formulations and MPC parameters on the synthesized behavior and provide key insights that pave the way for the application of sampling-based MPC for manipulators in a principled manner. We also provide highly optimized, open-source code to be used by the wider robot learning and control community. Videos of experiments can be found at: https://sites.google.com/view/manipulation-mpc

연구 동기 및 목표

• 고차원 로봇 조작기에서 공동 공간 기반의 샘플링 기반 모델 예측 제어를 통해 실시간 반응형 조작을 가능하게 하기.
• 샘플링 기반 MPC의 계산 병목 현상을 GPU 병렬화를 통해 공동 공간 최적화에 활용함으로써 극복하기.
• 작업 공간 목표, 관절 한계, 특이점 회피, 원시 센서 데이터로부터의 학습된 충돌 비용을 통합한 유일한 제어 프레임워크를 제공하기.
• 낮은 지연, 부드럽고 제약 조건을 만족하는 제어 궤적을 생성하여 실세계 구현에 적합하게 하기.
• 로봇 학습 및 제어 분야에서 광범위하게 채택될 수 있도록 오픈소스이자 고도로 최적화된 구현 제공하기.

제안 방법

• 완전히 텐서화된 운동학 모델을 통해 MPC 최적화 중 제어 궤적의 효율적 GPU 가속 롤아웃을 가능하게 한다.
• 고차원 동작 공간에서의 샘플링 효율성과 수렴성을 향상시키기 위해 저이격도 샘플링 전략을 적용한다.
• 고가속도를 억제하고 운동 연속성을 증진시키기 위해 보간 및 비용 함수 설계를 통해 부드러운 궤적 생성을 달성한다.
• 신경망 기반 체크어웃을 사용해 원시 포인트 클라우드 데이터로부터 학습된 자가 충돌 및 환경 충돌 비용을 직접 MPC 비용 함수에 통합한다.
• MPC 프레임워크는 공동 공간에서 작동하므로 관절 한계, 특이점 회피, 링크 충돌 제약 조건을 직접 구현할 수 있다.
• 복잡한 비미분 가능 비용 함수 하에서 제어 시퀀스를 최적화하기 위해 샘플 기반 기울기 추정(예: MPPI 스타일)의 확률적 정책을 사용한다.

실험 결과

연구 질문

• RQ1 공동 공간 기반의 샘플링 기반 MPC가 고차원 조작기에서 실시간 성능(≤8ms)을 달성하면서도 부드럽고 반응적이며 제약 조건을 만족하는 궤적을 유지할 수 있는가?
• RQ2 저이격도 샘플링 전략이 공동 공간 MPC의 수렴성 향상과 샘플 수 감소에 얼마나 효과적인가?
• RQ3 학습된 인식 구성요소(예: 원시 포인트 클라우드로부터의 충돌 감지)가 MPC 루프에 얼마나 밀접하게 통합될 수 있으며, 이로 인해 얼마나 더 강건한 성능이 달성되는가?
• RQ4 다양한 비용 함수 설계(예: 작업, 부드러움, 제약 조건 페널티)가 동적 조작 작업에서의 최종 제어 행동과 성능에 어떤 영향을 미치는가?
• RQ5 완전히 GPU 병렬화된 공동 공간 MPC 프레임워크가 기존의 작업 공간 기반 또는 CPU 기반 구현 대비 속도와 제약 조건 처리 능력에서 뛰어나게 성능을 발휘할 수 있는가?

주요 결과

• STORM는 단일 GPU에서 프랭카 펜다 로봇에서 125Hz 제어 주파수(제어 사이클당 8ms)를 달성하며, 이는 이전의 MPPI 기반 공동 공간 MPC 구현 대비 100배 빠른 성능 향상이다.
• 원시 포인트 클라우드로부터의 학습된 충돌 비용 통합으로 인해 명시적인 기하 모델이 없더라도 환경 및 자가 충돌 회피가 강력하게 가능해졌다.
• 저이격도 샘플링과 부드러운 보간이 궤적 품질 향상과 수렴성 향상에 기여하여 가속도를 감소시키고 운동 안정성을 향상시켰다.
• 프레임워크는 관절 한계, 특이점, 충돌 제약 조건을 모두 준수하면서도 복잡한 조작 작업(예: 이동하는 목표 추적, 물체 균형 유지)을 성공적으로 처리했다.
• 실제 프랭카 펜다 로봇에서의 정량적 평가 결과, 단순한 역학 모델만으로도 동적 환경에서 반응적이고 정밀하며 부드러운 운동을 달성함을 입증했다.
• 오픈소스 구현을 통해 재현 가능성과 커뮤니티 기반 확장이 가능하며, 시뮬레이션 및 실제 환경 모두에서 검증된 성능을 보였다.