[논문 리뷰] Sim2Real2Sim: Bridging the Gap Between Simulation and Real-World in Flexible Object Manipulation

Peng Chang, Taşkın Padır|arXiv (Cornell University)|2020. 02. 06.

Robot Manipulation and Learning참고 문헌 27인용 수 9

한 줄 요약

이 논문은 유연한 물체 조작에서 시뮬레이션과 현실 간 격차를 해소하기 위해 실세계 데이터를 사용해 시뮬레이션 모델을 반복적으로 보정하는 세 단계 전략인 Sim2Real2Sim을 제안한다. 시뮬레이션된 제어 정책을 실제 Kinova Jaco V2 로봇에 적용하고, 역역학을 통해 케이블 물리적 파라미터를 식별하며, 실세계의 이질성에 기반해 시뮬레이션을 업데이트함으로써, 하중 시 케이블 변형에 대해 4.11% 미만의 오차를 달성하는 고정밀도 시뮬레이션을 구현하였다. 이는 시뮬레이션 및 실제 환경에서 DRC 플러그 작업을 성공적으로 자동화하였다.

ABSTRACT

This paper addresses a new strategy called Simulation-to-Real-to-Simulation (Sim2Real2Sim) to bridge the gap between simulation and real-world, and automate a flexible object manipulation task. This strategy consists of three steps: (1) using the rough environment with the estimated models to develop the methods to complete the manipulation task in the simulation; (2) applying the methods from simulation to real-world and comparing their performance; (3) updating the models and methods in simulation based on the differences between the real world and the simulation. The Plug Task from the 2015 DARPA Robotics Challenge Finals is chosen to evaluate our Sim2Real2Sim strategy. A new identification approach for building the model of the linear flexible objects is derived from real-world to simulation. The automation of the DRC plug task in both simulation and real-world proves the success of the Sim2Real2Sim strategy. Numerical experiments are implemented to validate the simulated model.

연구 동기 및 목표

• 유연한 물체 조작에서 지속적인 시뮬레이션-현실 격차를 해결하기 위해, 정확하지 못한 물리 모델링과 모델링되지 않은 동역학으로 인한 영향을 고려한다.
• 실세계 데이터를 활용해 선형 유연한 물체(예: 케이블)의 물리적 파라미터를 식별하고 校정하는 체계적인 방법을 개발한다.
• 시뮬레이션 모델의 반복적 보정을 통해 제어 정책을 시뮬레이션에서 실제 로봇 시스템으로 안정적으로 전이할 수 있도록 한다.
• 시뮬레이션 및 실제 환경에서 DRC 플러그 작업을 자동화하여 접근법의 유효성을 검증한다.
• 시뮬레이션 모델이 다양한 하중 조건에서 실제 케이블 변형을 예측하는 데 있어 고정밀도를 달성할 수 있음을 입증한다.

제안 방법

• Sim2Real2Sim 전략은 세 단계로 구성된다: (1) 추정된 물리 모델을 사용한 근사 시뮬레이션에서 조작 정책을 개발한다; (2) 이러한 정책을 실제 로봇에 구현하고 성능 데이터를 수집한다; (3) 실세계 관측 결과를 바탕으로 시뮬레이션 모델을 보정한다.
• 실세계 운동학적 및 힘 데이터에서 선형 유연한 케이블의 물리적 파라미터(예: 질량, 강성)를 추정하기 위해 역역학 기반의 시스템 식별 방법을 사용한다.
• 케이블은 이산 노드를 가진 질량- 스프링 시스템으로 모델링되며, 중력과 외부 하중 하에서 변형이 시뮬레이션된다.
• 실세계 데이터는 RGB-D 카메라와 인스트루멘티드 로봇 암을 사용해 수집되며, AprilTags를 활용해 관절 및 케이블 끝 위치를 추적한다.
• 시뮬레이션과 실세계의 관절 각도 및 케이블 끝 처짐 각도 간 차이를 최소화함으로써 시뮬레이션 모델을 반복적으로 업데이트한다.
• 추가된 무게(50g 및 100g)를 케이블 끝에 부착한 제어 실험을 통해 모델 정확도를 검증하며, 시뮬레이션된 변형과 실제 변형을 비교한다.

실험 결과

연구 질문

• RQ1 시뮬레이션-현실-시뮬레이션 순환 구조가 실제로 유연한 물체 조작에서 시뮬레이션 성능와 현실 성능 간 격차를 효과적으로 줄일 수 있는가?
• RQ2 역역학 기반으로 실세계 운동학 데이터에서 선형 유연한 케이블의 물리적 파라미터를 얼마나 정확하게 식별할 수 있는가?
• RQ3 교정된 후 시뮬레이션 모델이 중력과 외부 하중 하에서 실제 케이블 변형을 어느 정도 정확하게 예측할 수 있는가?
• RQ4 모델 보정 후 시뮬레이션에서 개발된 제어 정책이 실제 로봇에서 DRC 플러그 작업을 성공적으로 수행할 수 있는가?
• RQ5 반복적 모델 보정 이후 시뮬레이션과 실세계 간 케이블 변형 오차의 최대치는 얼마인가?

주요 결과

• Sim2Real2Sim 전략은 시뮬레이션 및 실제 환경에서 DRC 플러그 작업을 성공적으로 자동화하여 실용성과 신뢰성을 입증하였다.
• 무하중 실험 동안 시뮬레이션과 실세계 간 관절 위치의 최대 백분율 오차는 3.53%였으며, 100g 하중 조건에서는 4.11%였다.
• 케이블 끝에 100g 무게를 부착한 상태에서 시뮬레이션과 실세계 간 케이블 처짐 각도의 최대 차이는 0.048 rad(4.11% 오차)였다.
• 무하중 조건에서 케이블 변형의 평균 백분율 오차는 1.71%였으며, 첫 번째 고정 레일에서는 0.43%로 감소하여 높은 모델 정밀도를 나타냈다.
• 역역학 기반 시스템 식별 방법은 케이블의 물리적 특성을 효과적으로 포착하여 정확한 변형 시뮬레이션을 가능하게 하였다.
• 반복적 보정 과정은 시뮬레이션과 실세계 행동 간 격차를 크게 감소시켜 Sim2Real2Sim의 核심 전제를 검증하였다.