[논문 리뷰] Sim-to-real for high-resolution optical tactile sensing: From images to 3D contact force distributions

Carmelo Sferrazza, Raffaello D’Andrea|arXiv (Cornell University)|2020. 12. 21.

Advanced Sensor and Energy Harvesting Materials참고 문헌 1인용 수 6

한 줄 요약

이 논문은 유한요소법(FEM) 시뮬레이션을 통해 생성된 합성 데이터만을 사용하여 입자 분산 연질 재료의 유한요소법(FEM) 시뮬레이션을 기반으로 한 U-Net 기반 신경망을 훈련시켜 고해상도 옵티컬 터치 센싱을 위한 시뮬레이션에서 실제 환경으로의 프레임워크를 제안한다. 모델은 실제 센서에서 이미지 특징을 3차원 접촉력 분포로 높은 정확도로 매핑하며, 원시 이미지 특징을 사용하여 실시간 추론(120 Hz)을 구현하며, 정확도와 속도 면에서 옵티컬 플로우 기반 대안보다 뛰어나다.

ABSTRACT

The images captured by vision-based tactile sensors carry information about high-resolution tactile fields, such as the distribution of the contact forces applied to their soft sensing surface. However, extracting the information encoded in the images is challenging and often addressed with learning-based approaches, which generally require a large amount of training data. This article proposes a strategy to generate tactile images in simulation for a vision-based tactile sensor based on an internal camera that tracks the motion of spherical particles within a soft material. The deformation of the material is simulated in a finite element environment under a diverse set of contact conditions, and spherical particles are projected to a simulated image. Features extracted from the images are mapped to the 3D contact force distribution, with the ground truth also obtained via finite-element simulations, with an artificial neural network that is therefore entirely trained on synthetic data avoiding the need for real-world data collection. The resulting model exhibits high accuracy when evaluated on real-world tactile images, is transferable across multiple tactile sensors without further training, and is suitable for efficient real-time inference.

연구 동기 및 목표

• 실제 데이터 없이 합성 데이터만을 사용하여 옵티컬 터치 센서 이미지에서 고해상도 실시간 3차원 접촉력 분포 추정을 가능하게 하기.
• 실제 세계 데이터 수집을 제거하기 위해 합성 FEM 생성 시뮬레이션만으로 훈련하는 것.
• 재훈련 없이도 동일한 터치 센서 설계의 여러 물리적 인스턴스에 일반화 가능한 이전 모델을 개발하기.
• 원시 이미지 특징과 옵티컬 플로우 특징 간의 선택이 시뮬레이션에서 실제 환경으로의 전이 성능과 추론 속도에 미치는 영향을 비교하기.
• 다양한 접촉 조건에서 힘 분포 재구성 정확도를 유지하면서도 실시간 추론(120 Hz)을 달성하기.

제안 방법

• 구형 입자가 연질 젤에 분산된 소재의 변형을 다양한 접촉 조건에서 유한요소법(FEM)을 사용해 시뮬레이션한다.
• 시뮬레이션된 입자 이동을 2차원 이미지 평면에 투영하여 합성 터치 이미지를 생성한다.
• 모델 입력을 위해 원시 이미지에서 직접 특징을 추출하거나 옵티컬 플로우 계산을 통해 특징을 추출한다.
• FEM 시뮬레이션의 진짜 값과 함께, 합성 데이터에서 끝에서 끝까지 U-Net 기반 신경망을 훈련시켜 이미지 특징에서 3차원 접촉력 분포로 매핑한다.
• 원시 특징 모델과 옵티컬 플로우 특징 모델 간의 공정한 비교를 위해 동일한 아키텍처와 입력/출력 차원을 사용한다.
• 실제 터치 센서 데이터를 사용하여 훈련된 모델을 평가하여 시뮬레이션에서 실제 환경으로의 일반화 능력과 추론 속도를 평가한다.

실험 결과

연구 질문

• RQ1 합성 FEM 시뮬레이션에서만 훈련된 학습 기반 모델이 실제 터치 센서에서 3차원 접촉력 분포를 정확하게 재구성할 수 있는가?
• RQ2 원시 이미지 특징과 옵티컬 플로우 특징 중 어떤 것을 선택하는 것이 시뮬레이션에서 실제 환경으로의 전이 성능과 추론 속도에 영향을 미치는가?
• RQ3 모델은 재훈련 없이도 동일한 터치 센서 설계의 여러 물리적 인스턴스에 일반화될 수 있는가?
• RQ4 CPU에 배포된 모델이 실시간 로봇 응용에서 달성 가능한 추론 속도는 얼마인가?
• RQ5 모델은 시뮬레이션 데이터에 포함되지 않은 다량 접촉 및 전단력 지배적인 조건과 같은 도전적인 조건에서도 정확도를 유지하는가?

주요 결과

• 원시 이미지 특징을 사용한 모델은 실제 테스트 데이터에서 옵티컬 플로우 기반 모델보다 더 높은 정확도를 보였으며, 특히 수직 힘 성분에서 두드러졌다.
• 모든 정량적 지표에서(평균 절대 오차 및 상관계수 포함) 원시 특징 모델이 모든 힘 성분에서 옵티컬 플로우 모델을 초월했다.
• 원시 특징 파이프라인은 CPU에서 120 Hz로 실시간 추론을 달성했지만, 옵티컬 플로우 파이프라인은 특징 추출의 병목 현상으로 인해 오직 50 Hz로 작동했다.
• 모델는 재훈련이나 실제 세계 데이터 없이도 강력한 제로샷 전이 능력을 보였으며, 여러 물리적 터치 센서에 일반화되었다.
• 훈련 데이터 분포에 포함되지 않은 전단력 지배적 및 다중 접촉 조건과 같은 도전적인 상황에서도 높은 정확도를 유지했다.
• 시뮬레이션과 현실 간의 성능 격차는 여전히 존재하며, 향후 도메인 적응 기법을 통해 시뮬레이션에서 실제 환경으로의 격차를 더욱 줄일 여지가 있음을 시사한다.