[논문 리뷰] General Robot Dynamics Learning and Gen2Real

Dengpeng Xing, Jiale Li외 2명|arXiv (Cornell University)|2021. 04. 06.

Robot Manipulation and Learning참고 문헌 32인용 수 4

한 줄 요약

이 논문은 다양한 로봇 구성에 대해 사전 훈련된 GPT 유사 모델을 사용하여 일반 로봇 동역학(GRD) 학습을 도입하며, 시뮬레이션에서 실제 로봇으로의 전이(Gen2Real)를 가능하게 한다. 다양한 로봇 유형 간의 뛰어난 일반화 성능을 달성하고, 특히 새로운 로봇으로의 전이에서 베이스라인을 능가하며, 동역학 전이 시 평균 RMSE가 25% 낮아지고, 역동역학 성능도 뛰어나다.

ABSTRACT

Acquiring dynamics is an essential topic in robot learning, but up-to-date methods, such as dynamics randomization, need to restart to check nominal parameters, generate simulation data, and train networks whenever they face different robots. To improve it, we novelly investigate general robot dynamics, its inverse models, and Gen2Real, which means transferring to reality. Our motivations are to build a model that learns the intrinsic dynamics of various robots and lower the threshold of dynamics learning by enabling an amateur to obtain robot models without being trapped in details. This paper achieves the "generality" by randomizing dynamics parameters, topology configurations, and model dimensions, which in sequence cover the property, the connection, and the number of robot links. A structure modified from GPT is applied to access the pre-training model of general dynamics. We also study various inverse models of dynamics to facilitate different applications. We step further to investigate a new concept, "Gen2Real", to transfer simulated, general models to physical, specific robots. Simulation and experiment results demonstrate the validity of the proposed models and method.\footnote{ These authors contribute equally.

연구 동기 및 목표

• 다양한 로봇 성질, 구조, 차원을 포함하는 일반 모델을 통해 로봇 동역학 학습의 장벽을 낮추기 위해.
• 넓은 분포의 로봇 동역학에 대해 단일 모델을 사전 훈련함으로써 일반화 성능을 향상시키는 것이 가능한지 조사하기 위해.
• 특정 로봇에 대해 다시 훈련하지 않고도 일반적인 시뮬레이션 모델을 물리적 로봇으로 직접 전이할 수 있는 새로운 전이 패러다임인 Gen2Real를 개발하기 위해.
• 시뮬레이션과 실제 실험에서 동역학 및 역동역학 전이 성능을 평가하기 위해.
• 일반 모델이 특정 작업에 최적화된 모델과 경쟁하거나 그 이상의 성능을 달성할 수 있음을 입증하기 위해.

제안 방법

• 다양한 직렬 로봇 인스턴스를 커버하기 위해 동역학 파라미터, 구조 구성, 모델 차원을 랜덤화하여 다각도적인 데이터셋을 생성함.
• 로봇 상태를 토큰 유사 입력으로 간주하고, 연속적인 궤적 시퀀스에서 일반 로봇 동역학을 학습하기 위해 GPT 유사 트랜스포머 아키텍처를 적응함.
• 다양한 로봇 유형 간의 내재된 동역학을 포괄하기 위해, 무작위화된 데이터셋에서 통합된 일반 동역학 모델(GRD)을 훈련함.
• 특정 응용 및 오류 보정을 위해 맞춤형으로 설계된 세 가지 역동역학 모델(일반 역동역학, 왼쪽 역동역학, 오른쪽 역동역학)을 개발함.
• Gen2Real: 특정 로봇에 대한 시뮬레이션 기반 미세조정(Gen2Spe)과 최소한의 실제 데이터를 사용한 실제 환경 적응(Spe2Real)을 포함하는 이중 단계 전이 프로세스를 구현함.
• 실제 환경 전이 시 최종 레이어만 조정함으로써 효율성과 일반화 능력을 유지하기 위해 단일 대규모 네트워크를 사용함.

실험 결과

연구 질문

• RQ1 다양한 로봇의 동역학 파라미터, 구조, 모델 차원을 랜덤화함으로써 단일 사전 훈련 모델이 광범위한 로봇의 내재된 동역학을 학습할 수 있는가?
• RQ2 일반 동역학 모델이 시뮬레이션에서 실제 로봇으로 전이될 때, 특정 작업에 최적화된 모델보다 얼마나 잘 작동하는가?
• RQ3 제안된 Gen2Real 프레임워크는 시뮬레이션에서 실제 로봇으로의 전이 과정에서 반복적인 데이터 수집과 재훈련의 필요성을 줄일 수 있는가?
• RQ4 실제 환경 전이에서 일반 동역학 모델과 역동역학 모델 간의 성능 차이는 어떠한가?
• RQ5 일반 모델이 다른 로봇 구성(예: 2링크)에서 복잡한 로봇(예: UR5e)으로 전이될 때도 강력한 성능을 유지하는가?

주요 결과

• Gen2Real는 UR5e 로봇에서 시뮬레이션에서 실제 로봇으로의 전이 시 평균 RMSE 0.018 ± 0.004를 기록하여, LSTM 및 선형 베이스라인을 능가함.
• 2링크 로봇 모델을 UR5e로 전이할 경우, Gen2Real는 다음으로 우수한 방법보다 평균 RMSE가 25% 낮고, 표준편차는 33% 낮음.
• 역동역학 전이에서는 LSTM이 가장 우수한 성능(평균 RMSE 0.72 N·m)을 보였지만, Gen2Real는 0.83 N·m의 경쟁력 있는 성능과 0.21 N·m의 표준편차를 기록함.
• Gen2Real는 일반 모델을 다른 로봇 세트(2링크)에서 복잡한 로봇(UR5e)으로 전이할 때, LSTM 및 선형 베이스라인을 모두 능가하는 뛰어난 성능을 보임.
• 동역학 전이 이후에 역동역학 전이를 수행하는 조합 실험에서 Gen2Real는 다른 방법들보다 뚜렷한 오차 감소를 보이며 우수한 성능을 나타냄.
• 일반 모델는 재훈련 없이도 다양한 로봇 구성 간에 높은 성능를 유지하며 강력한 일반화 능력을 보여, GRD 및 Gen2Real의 개념을 검증함.