[논문 리뷰] Rethinking Optimization with Differentiable Simulation from a Global Perspective

Rika Antonova, Jingyun Yang외 2명|arXiv (Cornell University)|2022. 06. 28.

Reinforcement Learning in Robotics인용 수 5

한 줄 요약

이 논문은 탄성 물체와 유체의 미분 가능 시뮬레이션에서 험한 손실 곡면을 극복하기 위해 베이지안 최적화와 반국소적 경사 기반 '도약'을 조합한 하이브리드 글로벌 최적화 방법을 제안한다. 시뮬레이션 및 실제 로봇-옷 상호작용 작업에서 경사 기반 및 경사 무관 기반 베이스라인보다 뛰어난 성능을 보이며, 미분 가능 시뮬레이터를 사용하는 상황에서도 효과적인 글로벌 탐색이 필수적임을 보여준다.

ABSTRACT

Differentiable simulation is a promising toolkit for fast gradient-based policy optimization and system identification. However, existing approaches to differentiable simulation have largely tackled scenarios where obtaining smooth gradients has been relatively easy, such as systems with mostly smooth dynamics. In this work, we study the challenges that differentiable simulation presents when it is not feasible to expect that a single descent reaches a global optimum, which is often a problem in contact-rich scenarios. We analyze the optimization landscapes of diverse scenarios that contain both rigid bodies and deformable objects. In dynamic environments with highly deformable objects and fluids, differentiable simulators produce rugged landscapes with nonetheless useful gradients in some parts of the space. We propose a method that combines Bayesian optimization with semi-local 'leaps' to obtain a global search method that can use gradients effectively, while also maintaining robust performance in regions with noisy gradients. We show that our approach outperforms several gradient-based and gradient-free baselines on an extensive set of experiments in simulation, and also validate the method using experiments with a real robot and deformables. Videos and supplementary materials are available at https://tinyurl.com/globdiff

연구 동기 및 목표

• 미분 가능 시뮬레이션에서 부드러운 경사가 보장되지 않는 접촉이 많은 탄성 시스템의 한계를 조사한다.
• 경성 물체, 연성 재료, 플라스틱, 유체를 포함한 다양한 시나리오에서 미분 가능 시뮬레이터의 최적화 곡면을 분석한다.
• 지역 최적화 및 노이즈가 많은 경사가 존재하는 미분 가능 시뮬레이션의 과제를 해결하기 위해 강력한 글로벌 최적화 프레임워크를 개발한다.
• 제안된 방법을 시뮬레이션 환경과 실제 로봇 조작 작업에서 모두 검증한다.
• 복잡한 시뮬레이션 기반 최적화에서 단순 경사 기반 방법만으로는 부족하며, 글로벌 탐색 전략이 필요함을 입증한다.

제안 방법

• 이 방법은 파arameter 공간의 유망한 영역에서 정확한 '도약'을 수행하기 위해 경사를 활용하는 반국소적 탐색 전략과 함께 베이지안 최적화(BO)를 조합한다.
• 검색 공간 전역에서 손실 함수의 전역적인 불확실성 인식 서면을 유지하기 위해 가우시안 프로세스 모델을 사용한다.
• 베이지안 최적화 루프에서 탐색과 이용의 균형을 이루기 위해 α = 1.0인 하한 신뢰도 경계(LCB) 획득 함수를 사용한다.
• 실험에서 근사 변형보다 우수한 성능을 보이기 때문에 비용 함수 모델링에 정확한 가우시안 프로세스를 사용한다.
• 각 BO 쿼리 이후에, 다양한 미분 가능 시뮬레이터(예: Warp, Nimble, DiffTaichi)에서 유도된 경사 정보를 통합하여 국소 정밀 조정을 이끈다.
• 이 프레임워크는 옷, 플라스티신, 유체, 다중 물체 조작 작업을 포함한 다양한 시뮬레이션 환경에서 평가된다.

실험 결과

연구 질문

• RQ1 탄성 물체와 유체를 시뮬레이션할 때, 미분 가능 시뮬레이터의 최적화 곡면은 얼마나 험한가?
• RQ2 접촉이 많은 또는 매우 변형 가능한 상황에서, 미분 가능 시뮬레이터에서 유도된 경사는 어느 정도 유용한가?
• RQ3 하이브리드 글로벌 최적화 전략은 지역 최적화와 노이즈가 많은 경사 영역을 극복하면서 경사 정보를 효과적으로 활용할 수 있는가?
• RQ4 제안된 방법은 시뮬레이션 및 실제 환경에서 순수 경사 기반 또는 경사 무관 기반 베이스라인과 비교해 어떻게 성능을 냈는가?
• RQ5 복잡하고 비연속적인 환경에서, 미분 가능 시뮬레이션은 시스템 식별 및 정책 최적화에 어떤 영향을 미치는가?

주요 결과

• 탄성 및 유체 시뮬레이션의 최적화 곡면은 경사가 존재하더라도 매우 험하고, 수많은 지역 최적화와 평탄한 영역을 포함한다.
• 미분 가능 시뮬레이터에서 유도된 경사는 일부 영역에서는 여전히 유용하지만, 접촉이 많은 또는 매우 변형 가능한 상황에서는 종종 신뢰할 수 없거나 노이즈가 심하다.
• 제안된 하이브리드 방법은 10D, 30D, 90D 파라미터 공간을 포함한 다양한 시뮬레이션 환경에서 다수의 경사 기반 및 경사 무관 기반 베이스라인을 초월하는 성능을 보였다.
• 로봇이 옷을 조작하는 실제 실험에서 시스템 식별이 성공적으로 수행되었으며, 시뮬레이션 결과가 실제 관측 결과와 일치했다.
• 베이지안 최적화에서 정확한 가우시안 프로세스는 근사 변형보다 우수한 성능을 보였으며, LCB 획득 함수는 안정적이고 효과적인 탐색을 제공했다.
• 입자 기반 DiffTaichi 및 유체 시뮬레이션 기반 시뮬레이션 환경은 상당한 계산 자원(예: 1,000 에피소드에 약 2시간)이 소요되어 계산적 트레이드오���이 뚜렷하다.