[논문 리뷰] Predictive Sampling: Real-time Behaviour Synthesis with MuJoCo

Taylor A. Howell, Nimrod Gileadi외 4명|arXiv (Cornell University)|2022. 12. 01.

Embedded Systems Design Techniques인용 수 10

한 줄 요약

이 논문은 MuJoCo 물리 시뮬레이션을 기반으로 한 실시간 모델 기반 예측 제어를 위한 오픈소스이자 상호작용 가능한 프레임워크인 MJPC를 소개한다. 쇼팅 기반 궤적 최적화 기법을 구현하며, 특히 예상보다 뛰어난 성능을 보이는 새로운 단순한 예측 샘플링 방법을 포함하고 있어, 빠르고 접근성 있고 직관적인 로봇 작업 작성과 낮은 지연과 높은 상호작용성을 갖춘 실시간 행동 합성에 기여한다.

ABSTRACT

We introduce MuJoCo MPC (MJPC), an open-source, interactive application and software framework for real-time predictive control, based on MuJoCo physics. MJPC allows the user to easily author and solve complex robotics tasks, and currently supports three shooting-based planners: derivative-based iLQG and Gradient Descent, and a simple derivative-free method we call Predictive Sampling. Predictive Sampling was designed as an elementary baseline, mostly for its pedagogical value, but turned out to be surprisingly competitive with the more established algorithms. This work does not present algorithmic advances, and instead, prioritises performant algorithms, simple code, and accessibility of model-based methods via intuitive and interactive software. MJPC is available at: github.com/deepmind/mujoco_mpc, a video summary can be viewed at: dpmd.ai/mjpc.

연구 동기 및 목표

• 모델 기반 제어의 접근성을 높이기 위해 사용자 친화적이고 상호작용 가능한 프레임워크를 제공함으로써 로봇 분야에서의 진입 장벽을 낮추는 것.
• 작업 튜닝 및 파라미터 조정 중 실시간 피드백을 가능하게 함으로써 연구 속도를 가속화하는 것.
• 비동기 시뮬레이션을 통해 이전의 느린 하드웨어에서도 효율적인 계산을 지원함으로써 예측 제어 도구에 대한 접근성을 넓히는 것.
• 복잡한 로봇 행동의 빠른 프로토타이핑을 위한 사용자 친화적이고 GUI 기반의 환경을 제공하는 것.
• 미래의 학습된 모델 및 계층적 제어 아키텍처의 로봇 분야 통합을 위한 기반을 마련하는 것.

제안 방법

• MJPC는 제어 입력만 최적화하고 시뮬레이션을 시간에 따라 전진하여 물리적 실현 가능성을 확보하는 쇼팅 기반 접근 방식을 사용한다.
• 세 가지 궤적 최적화 기법을 구현한다: 2차 도함수 기반의 iLQG(제2차)와 1차 도함수 기반의 기울기 하강법(제1차), 그리고 새로운 0차 방법인 예측 샘플링.
• 예측 샘플링은 제어 시퀀스를 확률적으로 샘플링하고, 그 비용을 평가한 후 성능이 가장 좋은 시퀀스를 선택한다. 이 방법은 도함수나 헤시안 행렬 계산이 필요하지 않다.
• 프레임워크는 시뮬레이션과 계획을 분리하여, 시뮬레이션이 실시간보다 느리게 실행되더라도 계획기가 더 빠르게 작동함으로써 실시간 반응성을 확보한다.
• GUI를 통해 사용자는 작업을 상호작용적으로 정의하고, 파라미터를 조정하며 실시간으로 행동을 시각화할 수 있으며 즉각적인 피드백을 받을 수 있다.
• 시스템은 다른 프레임워크로의 작업 재구현이 용이하며, 학습 기반 방법을 위한 전문가 시범 데이터를 생성할 수도 있다.

실험 결과

연구 질문

• RQ1 예측 샘플링과 같은 단순한, 도함수 없는 샘플링 기반 방법이 실시간 예측 제어에서 경쟁력 있는 성능을 달성할 수 있는가?
• RQ2 낮은 지연 피드백을 제공하는 상호작용적 실시간 시뮬레이션은 로봇 연구의 효율성과 효과성을 어떻게 향상시킬 수 있는가?
• RQ3 가벼운 접근성 있는 프레임워크인 MJPC가 복잡한 로봇 행동의 개발과 튜닝을 얼마나 빠르게 가속화할 수 있는가?
• RQ4 최적화나 제어 이론에 깊은 전문 지식이 없는 연구자들이 모델 기반 제어를 얼마나 쉽게 접근하고 사용할 수 있도록 할 수 있는가?
• RQ5 상호작용적이고 GUI 기반 도구는 예측 제어 및 계층적 제어 아키텍처 분야의 연구 발전에 어떤 역할을 할 수 있는가?

주요 결과

• 예측 샘플링은 0차 도함수 없는 방법임에도 불구하고 놀랍게 잘 작동하며, iLQG나 기울기 하강법과 같은 기존의 도함수 기반 계획기들과 경쟁 가능한 성능을 보였다.
• MJPC의 비동기 설계 덕분에 계획기가 시뮬레이션보다 더 빠르게 작동하여, 이전의 하드웨어에서도 실시간 행동 합성에 성공했다.
• 상호작용적 GUI는 파라미터 튜닝 시 즉각적인 피드백을 제공하여 연구자의 인지 성능과 연구 속도를 크게 향상시켰다.
• MJPC는 복잡한 작업 작성에 성공적으로 대응할 수 있으며, 향후 학습 기반 방법을 위한 전문가 시범 데이터 생성에도 활용될 수 있다.
• 이 프레임워크는 동작 추적 작업에 적합하며, 시간에 따라 변화하는 작업에 대해서도 최소한의 수정으로 확장 가능하다.
• 시스템은 미래의 학습된 동역학 모델, 가치 함수, 계층적 제어 아키텍처의 로봇 분야 통합을 위한 실현 가능한 기반을 제공한다.