[논문 리뷰] Planar Robot Casting with Real2Sim2Real Self-Supervised Learning

Vincent Lim, Huang Huang외 6명|arXiv (Cornell University)|2021. 11. 08.

Robot Manipulation and Learning참고 문헌 63인용 수 13

한 줄 요약

이 논문은 20개의 물리적 궤적을 사용하여 시뮬레이터를 튜닝하고, 합성 데이터를 생성하며, 실제 데이터와 시뮬레이션 데이터의 가중 조합으로 정책을 훈련시켜 평면 로봇 캐스팅(로봇의 작업 영역 외부에 있는 목표 지점에 도달하기 위해 케이블을 던지는 작업)을 향상시키는 자기지도 학습 프레임워크인 Real2Sim2Real을 제안한다. 이 방법은 세 개의 케이블에 대해 케이블 길이의 8–14% 수준의 중앙값 종점 오차를 달성하여 기준선 및 유일하게 실제 또는 시뮬레이션 데이터로 훈련된 정책보다 뛰어난 성능을 보였다.

ABSTRACT

This paper introduces the task of {\em Planar Robot Casting (PRC)}: where one planar motion of a robot arm holding one end of a cable causes the other end to slide across the plane toward a desired target. PRC allows the cable to reach points beyond the robot workspace and has applications for cable management in homes, warehouses, and factories. To efficiently learn a PRC policy for a given cable, we propose Real2Sim2Real, a self-supervised framework that automatically collects physical trajectory examples to tune parameters of a dynamics simulator using Differential Evolution, generates many simulated examples, and then learns a policy using a weighted combination of simulated and physical data. We evaluate Real2Sim2Real with three simulators, Isaac Gym-segmented, Isaac Gym-hybrid, and PyBullet, two function approximators, Gaussian Processes and Neural Networks (NNs), and three cables with differing stiffness, torsion, and friction. Results with 240 physical trials suggest that the PRC policies can attain median error distance (as % of cable length) ranging from 8% to 14%, outperforming baselines and policies trained on only real or only simulated examples. Code, data, and videos are available at https://tinyurl.com/robotcast.

연구 동기 및 목표

• 장기적인 동역학과 고속 동적 작업에서 유연한 1차원 물체(예: 케이블)를 다루는 데 도전하는 것.
• 다이나믹스의 불확실성과 마찰로 인해 시뮬레이션에서 실제 환경으로의 전이(Sim2Real) 갭이 커지며, 이로 인해 정책의 일반화 능력이 떨어지는 케이블 조작 문제를 해결하는 것.
• 물리적 데이터와 시뮬레이션 데이터를 조합하여 최소한의 물리적 데이터로도 효율적으로 제어 정책을 학습할 수 있는 자기지도 학습 프레임워크를 개발하는 것.
• 로봇의 접근 가능 영역 외부에 있는 목표 지점에 도달하기 위해 단일한 동적 운동으로 케이블의 자유단이 슬라이딩하는 평면 로봇 캐스팅(Planar Robot Casting, PRC)을 가능하게 하는 것.
• 튜닝된 시뮬레이션 데이터와 실제 세계 데이터를 조합하면, 각각의 데이터 소스로만 훈련된 경우보다 우수한 성능을 달성할 수 있음을 입증하는 것.

제안 방법

• 차분 진화를 사용하여 실제 케이블 궤적과 시뮬레이션된 궤적 간의 격차를 최소화함으로써, UR5 로봇을 사용해 20개의 물리적 궤적을 수집하여 동역학 시뮬레이터를 튜닝한다.
• 튜닝된 시뮬레이터를 사용해 여러 케이블 구성과 시뮬레이터 변형(Issac Gym-segmented, Isaac Gym-hybrid, PyBullet)에 대해 총 64,350개의 합성 궤적을 생성한다.
• 실제 및 시뮬레이션 궤적 데이터의 병합된 데이터셋을 사용해 가우시안 프로세스와 신경망을 활용해 전방 동역학 모델을 훈련시켜 케이블 끝부분의 위치를 예측한다.
• 실제 세계 결과에 더 중점을 두는 손실 함수를 사용해 실제 데이터와 시뮬레이션 데이터의 가중 조합을 활용해 PRC 정책을 훈련시킨다.
• 각 시험 후 케이블을 일관된 초기 상태로 자동으로 리셋하여 고성능 데이터 수집 및 정책 평가를 가능하게 한다.
• 세 가지의 다른 케이블(탄성 계수, 비틀림, 마찰 계수가 다름)에 대해 75회의 물리적 시험(16개의 목표 지점에 대해 각각 5회의 시험)을 수행해 정책을 평가한다.

실험 결과

연구 질문

• RQ1 자기지도 학습 프레임워크는 케이블과 같은 탄성 1차원 물체의 동적 조작에서 Sim2Real 갭을 줄일 수 있는가?
• RQ2 튜닝된 시뮬레이션 데이터와 소수의 실제 궤적을 조합하면, 유일하게 실제 또는 유일하게 시뮬레이션 데이터로만 훈련된 경우보다 정책의 일반화 능력이 향상되는가?
• RQ3 Real2Sim2Real 프레임워크는 로봇의 물리적 작업 영역을 초월한 고정밀 케이블 캐스팅을 달성할 수 있는가?
• RQ4 시뮬레이터 선택(Issac Gym 대비 PyBullet)과 동역학 모델(Gaussian Process 대비 신경망)의 선택이 정책 성능에 어떤 영향을 미치는가?
• RQ5 시뮬레이터 튜닝이 다양한 케이블 유형에 대해 정책의 강인성과 오차 분포에 어떤 영향을 미치는가?

주요 결과

• Real2Sim2Real 정책은 케이블 1에서 중앙값 종점 오차가 케이블 길이의 8%를 기록하여, 기준선인 Cast and Pull 정책의 중앙값 오차 61%보다 뚜렷하게 뛰어난 성능을 보였다.
• 케이블 1의 경우, 실제 및 시뮬레이션 데이터의 조합으로 훈련된 정책(π_R2S2R)은 유일하게 실제 데이터로 훈련된 정책(15% 대비 8%)보다 중앙값 오차를 약 50% 감소시켰다.
• 탄성 계수, 비틀림, 마찰 계수가 다른 세 가지의 다른 케이블에 대해 중앙값 오차는 케이블 길이의 8%에서 14% 수준으로 변동하였으며, 이는 다양한 재질 특성에 대해 강인함을 보여주었다.
• 유일하게 시뮬레이션 데이터로 훈련된 정책(π_SD)은 중앙값 오차가 115%로, 실제-시뮬레이션 데이터 조합 정책(105%)보다 높은 최대 오차를 보였으며, 이는 실제 데이터가 이질적 행동을 줄이는 데 기여함을 시사한다.
• 단지 20개의 물리적 궤적만을 사용해 시뮬레이터를 튜닝함으로써, 500개 이상의 실제 궤적을 사용해 훈련된 정책와 비교해도 유사한 성능을 달성하였으며, 이는 데이터 효율성을 입증한다.
• 이 프레임워크는 로봇의 물리적 작업 영역을 초월한 케이블 접근성을 성공적으로 구현하였으며, 평균적으로 케이블의 자유단이 목표 지점에서 케이블 길이의 14% 이내로 도달하였다.