[논문 리뷰] Taxim: An Example-based Simulation Model for GelSight Tactile Sensors

Zilin Si, Wenzhen Yuan|arXiv (Cornell University)|2021. 09. 09.

Advanced Sensor and Energy Harvesting Materials인용 수 4

한 줄 요약

Taxim는 다항식 룩업 테이블을 통한 광학 반응 시뮬레이션과 선형 이동 및 초합 원리를 이용한 마커 운동장 시뮬레이션을 조합한 예시 기반 고속 시뮬레이션 프레임워크로, GelSight 촉각 센서를 대상으로 한다. 서브픽셀 수준의 강도 오차를 갖는 최신 기술 수준의 광학 정확도를 달성하며, CPU에서 효율적으로 실행되어 로봇 공학 연구를 위한 현실적이고 계산 비용이 낮은 촉각 시뮬레이션을 가능하게 한다.

ABSTRACT

Simulation is widely used in robotics for system verification and large-scale data collection. However, simulating sensors, including tactile sensors, has been a long-standing challenge. In this paper, we propose Taxim, a realistic and high-speed simulation model for a vision-based tactile sensor, GelSight. A GelSight sensor uses a piece of soft elastomer as the medium of contact and embeds optical structures to capture the deformation of the elastomer, which infers the geometry and forces applied at the contact surface. We propose an example-based method for simulating GelSight: we simulate the optical response to the deformation with a polynomial look-up table. This table maps the deformed geometries to pixel intensity sampled by the embedded camera. In order to simulate the surface markers' motion that is caused by the surface stretch of the elastomer, we apply the linear elastic deformation theory and the superposition principle. The simulation model is calibrated with less than 100 data points from a real sensor. The example-based approach enables the model to easily migrate to other GelSight sensors or its variations. To the best of our knowledge, our simulation framework is the first to incorporate marker motion field simulation that derives from elastomer deformation together with the optical simulation, creating a comprehensive and computationally efficient tactile simulation framework. Experiments reveal that our optical simulation has the lowest pixel-wise intensity errors compared to prior work and can run online with CPU computing. Our code and supplementary materials are open-sourced at https://github.com/CMURoboTouch/Taxim.

연구 동기 및 목표

• 로봇 시뮬레이션 프레임워크에서 현실적이고 효율적인 촉각 센서 시뮬레이션의 부족을 해결하기 위해.
• GelSight와 같은 시각 기반 촉각 센서에서 광학 반응과 마커 운동을 모두 반영하는 시뮬레이션 모델을 개발하기 위해.
• 최소한의 실제 데이터로 다양한 GelSight 버전에 일반화 가능한 계산 비용이 낮고 校정 기반의 방법을 개발하기 위해.
• 시뮬레이션에서 실제 적용까지의 촉각 인식을 위한 단일 통합 프레임워크로 광학 및 기계적 반응 시뮬레이션을 통합하기 위해.
• 비용이 많이 드는 실제 실험 없이도 대규모 데이터 생성 및 촉각 기반 조작 시스템의 검증을 가능하게 하기 위해.

제안 방법

• 접촉 기하학을 픽셀 강도로 매핑하는 다항식 룩업 테이블을 사용하여 GelSight 센서의 광학 반응을 시뮬레이션한다.
• 탄성체 변형을 모델링하기 위해 선형 이동 관계와 초합 원리를 사용하여 마커 운동장 시뮬레이션을 수행한다.
• 100개 미만의 실제 센서 접촉 예시를 사용하여 校정을 수행함으로써 새로운 센서에 빠르게 적응할 수 있도록 한다.
• 조명으로 인한 그림자 효과는 누적 방식을 사용하여 구현함으로써 현실감을 향상시킨다.
• PyBullet 및 Gazebo와 같은 로봇 시뮬레이션 엔진에의 통합을 위해 설계되었다.
• 전체 시뮬레이션이 온라인으로 CPU에서 실행되어 실시간 응용 프로그램에 적합한 고속 성능을 확보한다.

실험 결과

연구 질문

• RQ1 데이터 기반의 예시 기반 접근 방식을 통해 시뮬레이션 모델이 GelSight 센서의 광학 반응을 정확하게 재현할 수 있는가?
• RQ2 선형 이동 및 초합 원리를 사용하여 탄성체 변형에 의해 유도되는 마커 운동장을 높은 정밀도로 시뮬레이션할 수 있는가?
• RQ3 기존의 물리 기반 또는 학습 기반 촉각 시뮬레이터와 비교해 본다면, 제안된 시뮬레이션은 정확도와 속도 면에서 어떤가?
• RQ4 최소한의 재교정으로 다양한 GelSight 센서 간에 모델이 얼마나 잘 일반화되는가?
• RQ5 실제 데이터로의 교정을 통해 시뮬레이션은 센서 노이즈와 조명 효과를 효과적으로 포착할 수 있는가?

주요 결과

• 광학 시뮬레이션은 이전 연구 대비 가장 낮은 픽셀 단위 강도 오차를 기록하였으며, X 방향에서 평균 오차 3.58×10⁻³ mm, Y 방향에서 3.32×10⁻³ mm, Z 방향에서 5.43×10⁻³ mm를 기록하였다.
• 유한요소법(FEM) 시뮬레이션과 비교했을 때 마커 운동장 시뮬레이션의 평균 L1 오차는 3.96×10⁻³ mm로, 물리 기반 변형과 강한 일치를 보였다.
• CPU에서 평균 9.22초의 속도로 시뮬레이션이 실행되었으며, FEM 시뮬레이션(2–4시간)보다 빠르고 GPU 가속 기반 기준선과도 경쟁 가능했다.
• 실제와 시뮬레이션된 마커 운동 간의 가중 평균 각도 L1 오차는 14.57°로, 실제와 FEM 데이터 간 오차인 12.94°에 근접하여 높은 정밀도를 입증하였다.
• 100개 미만의 실제 예시로 교정을 수행함으로써 조명 효과와 센서 노이즈를 효과적으로 포착하여 정확한 시뮬레이션에서 실제 적용까지의 전이 성능을 확보하였다.
• Taxim는 높은 정확도와 낮은 계산 비용으로 동시에 광학 반응과 마커 운동장 시뮬레이션을 수행하는 최초의 프레임워크이다.