[논문 리뷰] Augmenting Differentiable Simulators with Neural Networks to Close the Sim2Real Gap

Eric Heiden, David Millard외 2명|arXiv (Cornell University)|2020. 07. 12.

Model Reduction and Neural Networks참고 문헌 31인용 수 12

한 줄 요약

이 논문은 신경망을 분석적 물리 엔진의 임의의 계산 지점에 통합하여 종단 간 기울기 기반 최적화를 가능하게 하는 하이브리드 미분 가능 시뮬레이터를 제안한다. 분석 역학과 데이터 기반 잔차 모델을 결합하고 국소 최적해에서 벗어나기 위해 무작위 검색을 사용함으로써, 시뮬레이션에서 실제 세계로의 전이 갭을 크게 줄였다. 이는 시뮬레이션 및 실제 더블 펜듈럼 역학에서 입증되었다.

ABSTRACT

We present a differentiable simulation architecture for articulated rigid-body dynamics that enables the augmentation of analytical models with neural networks at any point of the computation. Through gradient-based optimization, identification of the simulation parameters and network weights is performed efficiently in preliminary experiments on a real-world dataset and in sim2sim transfer applications, while poor local optima are overcome through a random search approach.

연구 동기 및 목표

• 분석적 물리 시뮬레이션에 데이터 기반 모델을 통합하여 로봇 공학 분야의 sim2real 갭을 해소한다.
• 무작위 검색 전략을 사용하여 비선형 역학의 시스템 식별에서 열악한 국소 최적해를 극복한다.
• 통합된 프레임워크에서 시뮬레이션 파라미터와 신경망 가중치를 효율적으로 기울기 기반으로 최적화할 수 있도록 한다.
• 신경망을 시뮬레이션 계산 그래프의 임의의 지점에 삽입하여 모델링되지 않은 역학을 설명할 수 있도록 한다.
• 실제 궤적 데이터를 사용하여 시뮬레이션-시뮬레이션 전이 및 실제 세계의 시스템 식별에 이 방법을 적용한다.

제안 방법

• 다른 시뮬레이션 변수에서 입력을 받는 신경망을 분석적 물리 엔진의 임의의 변수에 추가하여 '신경 스칼라'를 생성한다.
• C++ 기반의 미분 가능 시뮬레이션 엔진을 사용하며, 자동 기울기 계산을 위해 다차원 이중수를 활용하고, Ceres 라이브러리를 통한 계산을 수행한다.
• 방정식 1을 사용하여 시스템 식별 문제를 비선형 최소 제곱 문제로 공식화하며, L2 정규화를 적용한 신경망 가중치와 함께 상태 궤적 오차를 최소화한다.
• 손실 함수의 빠른 局부 최적화를 위해 Levenberg-Marquardt 알고리즘을 적용한다.
• 무작위 초기 파rameter에서 국소 최적화기를 재시작하기 위해 병렬 협곡 탐색(PBH)을 사용하여 열악한 국소 최적해에서 벗어난다.
• 모델 정의를 시뮬레이션 실행과 분리하기 위해 별도의 코드 파일에 '신경 블루프린트'를 정의하여 네트워크 아키텍처와 초기 가중치를 명시한다.

실험 결과

연구 질문

• RQ1 분석적 물리 엔진의 임의의 지점에 효과적으로 신경망을 삽입하여 모델링되지 않은 역학을 설명할 수 있는가?
• RQ2 종단 간 미분 가능 최적화는 관측된 궤적에서 분석적 모델 파라미터와 신경망 가중치를 얼마나 잘 식별할 수 있는가?
• RQ3 무작위 검색 전략인 병렬 협곡 탐색은 고차원, 비凸인 시스템 식별 문제에서 열악한 국소 최적해를 효과적으로 회피할 수 있는가?
• RQ4 순수 분석적 시뮬레이터에 비해 하이브리드 모델이 sim2real 갭을 어느 정도 줄일 수 있는가?
• RQ5 신경망 가중치의 정규화는 학습된 역학의 물리적 타당성과 일반화 능력에 어떤 영향을 미치는가?

주요 결과

• PBH를 사용한 시스템 식별 후, 하이브리드 시뮬레이터는 지면 위에 던진 큐브의 목표 궤적을 매우 잘 따라가며, 최적화되지 않은 베이스라인에 비해 sim2real 갭을 크게 줄였다.
• 실제 더블 펜듈럼 데이터셋에서, 관성, 질량, 링크 길이 파라미터를 성공적으로 식별하여 최소한의 sim2real 갭을 달성했다.
• 방정식 1의 손실 함수는 역전파를 통해 분석적 모델 파라미터와 신경망 가중치의 효율적 최적화를 가능하게 했다.
• 무작위 검색(PBH)의 사용으로 비선형 역학 최적화에서 흔한 열악한 국소 최적해에서 벗어나 더 나은 해에 수렴하는 데 기여했다.
• 하이브리드 아키텍처는 마찰과 같은 특정 역학 성분에 대해 세밀한 보완을 가능하게 하였으며, 물리 엔진의 분석적 기반을 유지했다.
• 이 방법은 시뮬레이션-시뮬레이션 전이와 실제 세계의 시스템 식별 모두에서 뛰어난 성능을 보였으며, 실용적인 로봇 공학 응용 분야에서의 잠재력을 보여주었다.