[논문 리뷰] PlasticineLab: A Soft-Body Manipulation Benchmark with Differentiable Physics

Zhiao Huang, Yuanming Hu외 5명|arXiv (Cornell University)|2021. 04. 07.

Tactile and Sensory Interactions참고 문헌 51인용 수 23

한 줄 요약

PlasticineLab는 탄성플라스틱 변형을 사용하는 미분 가능 MPM 기반 시뮬레이터를 활용해 연성 물체 조작을 위한 미분 가능 물리 기준 평가 기준을 제공하는 것으로, 10개의 작업과 50개의 구성이 포함되어 있다. 이는 빠른 기울기 기반 궤적 최적화를 가능하게 하여 단순한 작업에서는 강화학습보다 뛰어난 성능을 보이나 장기적인 계획에서는 어려움을 겪으며, 이는 다양한 방법과 강화학습을 융합한 방법의 필요성을 드러낸다.

ABSTRACT

Simulated virtual environments serve as one of the main driving forces behind developing and evaluating skill learning algorithms. However, existing environments typically only simulate rigid body physics. Additionally, the simulation process usually does not provide gradients that might be useful for planning and control optimizations. We introduce a new differentiable physics benchmark called PasticineLab, which includes a diverse collection of soft body manipulation tasks. In each task, the agent uses manipulators to deform the plasticine into the desired configuration. The underlying physics engine supports differentiable elastic and plastic deformation using the DiffTaichi system, posing many under-explored challenges to robotic agents. We evaluate several existing reinforcement learning (RL) methods and gradient-based methods on this benchmark. Experimental results suggest that 1) RL-based approaches struggle to solve most of the tasks efficiently; 2) gradient-based approaches, by optimizing open-loop control sequences with the built-in differentiable physics engine, can rapidly find a solution within tens of iterations, but still fall short on multi-stage tasks that require long-term planning. We expect that PlasticineLab will encourage the development of novel algorithms that combine differentiable physics and RL for more complex physics-based skill learning tasks.

연구 동기 및 목표

• 물리적으로 정확하고, 미분 가능한 환경에서 복잡한 연성 물체 조작 기술을 학습하기 위한 표준화된 기준 평가의 부족을 해결하기 위해.
• 제어 및 계획을 위한 기울기 기반 최적화를 가능하게 하는, 미분 가능한 탄성 및 플라스틱 변형을 지원하는 시뮬레이션 플랫폼을 개발하기 위해.
• 복잡한 연성 물체 작업에서 강화학습과 기울기 기반 계획 방법의 성능을 평가하고 비교하기 위해.
• 미분 가능한 물리 기반과 모방 학습 및 강화학습을 융합하여 정책 학습 및 시뮬레이션에서 현실으로의 전이를 향상시키기 위해.
• 일반화, 절차적 작업 구성 생성, 도메인 랜덤라이제이션을 지원하는 공개 가능한 기준 평가를 제공하기 위해.

제안 방법

• 기준 평가 기준은 탄성플라스틱 재료를 시뮬레이션하기 위해 미분 가능한 물질점 방법(MPM)을 사용하는 Taichi 물리 엔진을 사용한다. 이는 바르미즈 항복 기준을 기반으로 한다.
• 복잡하고 수치적으로 도전적인 연산, 예를 들어 플라스틱 모델에서의 SVD를 포함하여 기울기를 계산하기 위해 이중 척도의 역방향 미분 프레임워크를 구현한다.
• 부드러운-고정체 및 부드러운-부드러운 상호작용 동안 기울기 보존을 위해 특화된 접촉 모델을 설계한다.
• 예를 들어 굴리기, 쥐기, 깎기 등의 다양한 조작 작업 10종을 지원하는 환경으로, 플라스틱린 변형에 대한 정밀한 제어가 필요하다.
• 기울기 정보를 사용하여 기울기 기반 계획자에 의해 개방형 동작 시퀀스를 최적화함으로써 수십 번의 반복 내에 빠른 수렴을 가능하게 한다.
• 작업 구성의 절차적 생성과 시뮬레이션에서 현실로의 전이를 위한 도메인 랜덤라이제이션 통합을 지원한다.

실험 결과

연구 질문

• RQ1 미분 가능한 물리 기반 환경에서 기울기 기반 최적화 방법과 강화학습 간의 성능 비교는 어떻게 되는가?
• RQ2 미분 가능한 물리 기반은 복잡한 탄성플라스틱 변형 작업에 대해 더 빠르고 정확한 궤적 계획을 가능하게 할 수 있는가?
• RQ3 기울기 기반 방법은 장기적인 계획 및 다단계 연성 물체 조작 작업에서 어떤 한계를 지니는가?
• RQ4 기울기 소실이 발생하는 분리-재접합 상황에서 기울기 기반 방법과 샘플링 기반 방법(예: 무작위 검색 또는 강화학습)을 어떻게 융합할 수 있는가?
• RQ5 PlasticineLab는 기울기 기반 물리적 매개변수 식별과 도메인 랜덤라이제이션을 통해 시뮬레이션에서 현실으로의 정책 전이를 어느 정도 지원할 수 있는가?

주요 결과

• 기울기 기반 계획 방법은 간단한 PlasticineLab 작업을 50회 이내의 최적화 반복 내에서 해결하여 높은 정밀도와 빠른 속도를 달성했고, 반면 강화학습 방법은 10,000 에피소드가 넘도록 수렴하지 못했다.
• 미분 가능한 물리 엔진은 복잡한 플라스틱 모델, 특히 수치적으로 도전적인 SVD 연산을 포함하여 기울기를 성공적으로 계산하여 종단 간 최적화를 가능하게 했다.
• 기울기 기반 방법은 초기화에 매우 민감했으며, 부적절한 초기 동작 시퀀스에서 시작할 경우 성능이 크게 떨어졌다.
• 분리 및 재접합을 포함한 다단계 작업에서는 기울기 기반 최적화가 기울기 소실로 인해 실패했으며, 이는 하이브리드 계획 전략의 필요성을 시사한다.
• 기준 평가 기준은 강화학습 기반 에이전트가 장기적인 계획에서 어려움을 겪고 광범위한 탐색이 필요로 하며, 기울기 기반 방법은 강력한 국소적 가이드를 제공하지만 장기적 추진력을 갖추지 못함을 드러냈다.
• 기울기 기반 시스템 식별을 통한 물리적 매개변수 최적화와 도메인 랜덤라이제이션을 통해 플랫폼은 효과적인 시뮬레이션에서 현실으로의 전이를 가능하게 하였으며, 기울기 기반 시스템 식별을 통해 시뮬레이션에서 현실으로의 격차를 줄일 잠재력이 있다.