[논문 리뷰] Interactive Differentiable Simulation

Eric Heiden, David Millard외 2명|arXiv (Cornell University)|2019. 05. 26.

Reinforcement Learning in Robotics참고 문헌 33인용 수 34

한 줄 요약

IDS는 시각으로부터 물리 파라미터를 학습하고, 작업 기반 설계 및 개선된 샘플 효율성을 가진 모델-free 방법보다 뛰어난 적응형 MPC를 가능하게 하는 differentiable physics 엔진이다.

ABSTRACT

Intelligent agents need a physical understanding of the world to predict the impact of their actions in the future. While learning-based models of the environment dynamics have contributed to significant improvements in sample efficiency compared to model-free reinforcement learning algorithms, they typically fail to generalize to system states beyond the training data, while often grounding their predictions on non-interpretable latent variables. We introduce Interactive Differentiable Simulation (IDS), a differentiable physics engine, that allows for efficient, accurate inference of physical properties of rigid-body systems. Integrated into deep learning architectures, our model is able to accomplish system identification using visual input, leading to an interpretable model of the world whose parameters have physical meaning. We present experiments showing automatic task-based robot design and parameter estimation for nonlinear dynamical systems by automatically calculating gradients in IDS. When integrated into an adaptive model-predictive control algorithm, our approach exhibits orders of magnitude improvements in sample efficiency over model-free reinforcement learning algorithms on challenging nonlinear control domains.

연구 동기 및 목표

• 인터랙티브 디퍼러블 시뮬레이션(IDS), 해석 가능한 물리 파라미터를 갖춘 강체 동역학용 differentiable 물리 엔진를 소개합니다.
• IDS를 신경망 아키텍처와 최적화 파이프라인에 통합하여 엔드투엔드 학습과 제어를 가능하게 한다.
• 물리 기반 병목을 이용하여 시각 입력으로부터 시스템 식별 및 파라미터 추정 방법을 시연한다.
• 자동 로봇 설계 및 적응형 모델 예측 제어(MPC) 적용 사례를 선보인다.

제안 방법

• 뉴턴-엘로우 방정식과 전진 동역학으로 강체 역학 모델링을 수행하고, 관절체 알고리즘(ABA)을 이용해 O(n) 가속을 계산한다.
• 속도와 위치를 업데이트하기 위해 반보수적(Euler) 적분을 구현하고 힘 전파에 재귀 뉴턴-엘리오를 사용한다.
• 물리 엔진을 역전파 모드 자동 미분(Stan Math)을 통해 미분 가능 계층으로 표현하여 입력, 힘, 파라미터에 대한 그래디언트를 얻는다.
• 시각 기반 인코더/디코더 사이에 IDS 레이어를 통합하여 미래 상태를 예측하고 엔드투엔드 학습을 통해 물리 파라미터를 학습한다.
• IDS 파라미터 theta_phy(예: 링크 길이)를 신경 인코더/디코더와 함께 삼중 손실(triplet loss)로 학습하는 오토인코더 병목 구조를 사용한다.
• DH 파라미터와 순전개 기하를 미분 가능하게 만들어 엔드 이펙터 추적 오차를 최소화하는 gradient-based 최적화를 통해 자동 로봇 설계에 IDS를 적용한다.
• 실제 전환에 IDS 동역학을 맞추고 짧은 기간의 궤적 최적화를 위해 iLQR을 사용하는 적응형 모델 예측 제어(AMPC)를 적용한다.

실험 결과

연구 질문

• RQ1 IDS가 고차원 시각 입력에서 물리적으로 의미 있는 파라미터를 정확히 추론할 수 있는가?
• RQ2 differentiable 물리 엔진 레이어를 통합하는 것이 훈련 데이터 밖으로의 예측 범위와 일반화를 개선하는가?
• RQ3 비선형 제어 과제에서 IDS 기반 AMPC가 모델 자유(RL)보다 샘플 효율성을 더 높일 수 있는가?
• RQ4 Differentiable DH/운동학을 통해 로봇 팔의 자동 설계를 IDS가 어느 정도 용이하게 할 수 있는가?
• RQ5 적응 제어 루프에서 미분 가능 엔진이 실제 세계의 역학에 얼마나 잘 적응하는가?

주요 결과

• IDS는 물리적으로 의미 있는 파라미터를 학습할 수 있게 해준다(예: 진자 연결 길이가 실제 값으로 수렴).
• 물리 병목을 갖춘 IDS 기반 오토인코더는 예측 성능에서 직관적 물리 기반 baseline과 일치하고, 장기 예측에서 완전히 학습된 모델보다 성능이 향상된다.
• 평가된 환경에서 단일 및 이중 카트폴 작업에서 IDS를 이용한 AMPC가 SAC 및 DDPG에 비해 샘플 효율이 우수하게 나타났다.
• IDS를 통한 그래디언트 기반 최적화는 팔 설계의 DH 파라미터 최적화를 통해 작업 공간 궤적을 근접하게 따른다.
• 미분 가능한 동역학을 갖춘 AMPC는 몇 에피소드 내에 정확한 시스템 모델로 빠르게 수렴한다(예: 카트폴 실험에서 수렴).
• IDS는 해석 가능한 파라미터와 보존 법칙 일관성을 제공하여 고전적 제어 및 추정 방법과의 통합을 가능하게 한다.