[논문 리뷰] Learning to Read Braille: Bridging the Tactile Reality Gap with Diffusion Models

Carolina Higuera, Byron Boots외 1명|arXiv (Cornell University)|2023. 04. 03.

Tactile and Sensory Interactions인용 수 9

한 줄 요약

본 논문은 조건부 확산 모델을 사용하여 시뮬레이션된 깊이로부터 현실적인 촉각 이미지를 렌더링하고, DIGIT 센서를 이용한 제로샷 점자 읽기를 가능하게 하며 실제 데이터에서 75.74% 정확도를 달성한다.

ABSTRACT

Simulating vision-based tactile sensors enables learning models for contact-rich tasks when collecting real world data at scale can be prohibitive. However, modeling the optical response of the gel deformation as well as incorporating the dynamics of the contact makes sim2real challenging. Prior works have explored data augmentation, fine-tuning, or learning generative models to reduce the sim2real gap. In this work, we present the first method to leverage probabilistic diffusion models for capturing complex illumination changes from gel deformations. Our tactile diffusion model is able to generate realistic tactile images from simulated contact depth bridging the reality gap for vision-based tactile sensing. On real braille reading task with a DIGIT sensor, a classifier trained with our diffusion model achieves 75.74% accuracy outperforming classifiers trained with simulation and other approaches. Project page: https://github.com/carolinahiguera/Tactile-Diffusion

연구 동기 및 목표

• 시각 기반 촉각 데이터의 현실적 렌더링을 촉진하여 시뮬레이션-실제 격차를 줄인다.
• 시뮬레이션된 높이 맵에 조건부로 작동하는 촉각 확산 모델을 개발하여 현실적인 촉각 이미지를 생성한다.
• 확산 기반 렌더링 후 DIGIT 센서를 이용한 실제 점자 읽기에 대한 제로샷 전송을 시연한다.
• 다운스트림 점자 분류에서 시뮬레이션-전용, 데이터 증강 및 GAN 기반 기준선 대비 개선을 정량화한다.

제안 방법

• x를 시뮬레이션된 깊이 이미지로, y를 실제와 유사한 촉각 이미지로 두고 이미지 간 변환을 조건부 확산 과정 p(y|x)으로 공식화한다.
• x에 조건화된 노이즈가 섞인 yT로부터 y0를 복원하기 위한 디노이징 스코어 매칭 objective를 갖춘 조건부 U-Net 디코더를 학습한다 (식 3).
• YCB-Slide 데이터셋의 180k 쌍의 시뮬레이션 깊이 / 실제 촉각 이미지 쌍에 대해 확산 모델을 선행 학습한다.
• 작업 특정 질감과 점자 융기를 적응시키기 위해 20%의 실제 점자 데이터로 모델을 미세 조정한다.
• 추론 시 가우시안 노이즈에서 시작하여 시뮬레이션 깊이 입력에 조건화된 노이즈 제거를 반복하여 현실적인 촉각 이미지를 생성한다 (식 4–6).
• 실제 촉각 이미지와의 SSIM 및 MSE를 사용해 평가하고 다운스트림 점자 분류 성능을 비교한다.

실험 결과

연구 질문

• RQ1 확산 기반 렌더러가 시각 기반 촉각 센서에서 조명 및 젤 변형 효과를 포착하여 시뮬레이션-실제 간 격차를 줄일 수 있는가?
• RQ2 주로 시뮬레이션 데이터로 학습되었을 때 확산 기반 후처리가 DIGIT 센서를 이용한 점자 읽기에 대해 제로샷 전송을 가능하게 하는가?
• RQ3 촉각 확산과 GAN 기반 접근법의 현실감 및 다운스트림 작업 정확도 비교는 어떠한가?
• RQ4 제한된 실제 데이터로 미세 조정하는 것이 다운스트림 점자 분류 성능에 어떤 영향을 미치는가?

주요 결과

• 촉각 확산은 테스트 궤적에서 일반적으로 SSIM이 0.80 이상을 달성하여 실제 촉각 이미지의 현실적인 구조를 시사한다.
• 27개의 점자 문자에 대해 미세 조정된 촉각 확산은 SSIM 0.908 및 MSE 36.02(채널당 최대 255)로, cGAN(SSIM 0.879, MSE 47.99)을 능가한다.
• 확산 생성 데이터로 학습된 점자 분류기는 제로샷 실제 데이터 정확도 75.74%를 달성한다.
• 데이터 증강이 포함된 시뮬레이션 전용 학습이나 실제 데이터 미세 조정은 정확도를 향상시키지만, 확산 기반 접근은 강한 성능에 도달하기 위해 필요한 실제 데이터가 더 적다.
• 확산 기반 렌더링은 cGAN에 비해 점자 홈의 보존이 더 잘 되어 텍스처 아티팩트로 인한 오분류를 줄인다.