[논문 리뷰] MidasTouch: Monte-Carlo inference over distributions across sliding touch

Sudharshan Suresh, Zilin Si외 3명|arXiv (Cornell University)|2022. 10. 25.

Tactile and Sensory Interactions인용 수 6

한 줄 요약

MidasTouch는 몽테카를로 입자 필터를 사용하여 시뮬레이션된 데이터에서 학습된 촉각 코드 임베딩을 활용해, 알려진 물체 위를 슬라이딩하는 시각 기반 촉각 센서의 온라인 및 글로벌 정위치를 가능하게 하는 觸각 인식 시스템이다. 이 시스템은 사전에 계산된 코드북과 국소 표면 기하학을 비교함으로써, 시각적 사전 지식 없이도 실제 슬라이딩 작업에서 2cm 이내 및 11° 이내의 자세 오차를 달성한다.

ABSTRACT

We present MidasTouch, a tactile perception system for online global localization of a vision-based touch sensor sliding on an object surface. This framework takes in posed tactile images over time, and outputs an evolving distribution of sensor pose on the object's surface, without the need for visual priors. Our key insight is to estimate local surface geometry with tactile sensing, learn a compact representation for it, and disambiguate these signals over a long time horizon. The backbone of MidasTouch is a Monte-Carlo particle filter, with a measurement model based on a tactile code network learned from tactile simulation. This network, inspired by LIDAR place recognition, compactly summarizes local surface geometries. These generated codes are efficiently compared against a precomputed tactile codebook per-object, to update the pose distribution. We further release the YCB-Slide dataset of real-world and simulated forceful sliding interactions between a vision-based tactile sensor and standard YCB objects. While single-touch localization can be inherently ambiguous, we can quickly localize our sensor by traversing salient surface geometries. Project page: https://suddhu.github.io/midastouch-tactile/

연구 동기 및 목표

• 시각적 사전 지식에 의존하지 않고, 알려진 물체 위에서 슬라이딩하는 시각 기반 촉각 센서의 글로벌 정위치 문제를 해결한다.
• 장기간의 시간 간격을 통해 국소 기하학적 특징을 통합하여 단일 촉각 관측의 모호함을 해소한다.
• 3D 물체 표면의 기하 구조에 적합한 입자 필터 프레임워크를 활용해 강건한 비모수적 자세 추정을 실현한다.
• 복잡한 조합된 물체 기하학을 포함한 가정용 및 로봇 조작 작업에 적용 가능한 확장성 있고 일반화 가능한 방법을 제공한다.
• 촉각 기반 정위치 연구를 위한 평가 및 향후 연구를 지원하기 위해 벤치마크 데이터셋(YCB-Slide)을 공개한다.

제안 방법

• 시간에 따라 센서 자세의 분포를 유지하고 업데이트하기 위해 비모수적 몽테카를로 입자 필터를 활용한다.
• 시뮬레이션된 촉각 이미지에서 학습된 촉각 코드 네트워크를 사용해 국소 표면 기하학의 압축되고 특징적인 임베딩을 생성한다.
• 이러한 임베딩을 사전에 계산된, 물체별로 특화된 촉각 코드북과 비교하여 자세 업데이트의 가능도를 계산한다.
• 서브 밀리미터 수준의 공간 해상도를 가진 고해상도 높이도를 캡처하기 위해 시각 기반 촉각 센서(예: DIGIT)를 활용한다.
• LIDAR 기반 장소 인식에 영감을 받은 대비 학습 목표를 사용해 촉각 코드 네트워크를 훈련시켜 국소 특징 매칭의 강건성을 확보한다.
• 순차적으로 자세된 촉각 이미지를 통합하여 자세 분포를 정밀화하며, 촉각 유사도 점수에 기반한 입자 재표본 추출을 수행한다.

실험 결과

연구 질문

• RQ1 입자 필터 프레임워크는 오직 촉각 피드백만을 사용하여 슬라이딩 중인 촉각 센서의 온라인 글로벌 정위치를 효과적으로 수행할 수 있는가?
• RQ2 학습된 촉각 임베딩은 시간에 걸쳐 국소 기하학을 통합함으로써 단일 촉각 관측의 모호함을 어느 정도 해소할 수 있는가?
• RQ3 접촉 면적과 침투 깊이는 촉각 기반 자세 추정 정확도에 어떤 영향을 미치는가?
• RQ4 시뮬레이션에서 학습된 촉각 코드 네트워크는 미세조정 없이도 실제 슬라이딩 상호작용에 일반화될 수 있는가?
• RQ5 다양한 기하학적 복잡도를 가진 YCB 물체에 대해 이 시스템의 성능은 어떻게 스케일링되는가?

주요 결과

• MidasTouch는 시뮬레이션에서 중앙값 자세 오차가 0.28 cm 및 2.03°이며, 실제 실험에서는 YCB 물체 전반에 걸쳐 1.11 cm 및 10.76°의 오차를 기록한다.
• 초기 자세가 진짜 위치에서 멀어도 슬라이딩을 시작한 지 몇 초 내에 정확한 자세 분포로 수렴한다.
• 더 큰 접촉 면적(더 깊은 침투로 구현)은 훨씬 낮은 추적 오차를 유도하며, 접촉 면적과 최종 오차 사이에 명확한 반비례 관계가 존재한다.
• 효율적인 시간에 걸친 국소 기하학 통합 덕분에, 특히 시각적 사전 지식이 없는 상황에서 기준 방법보다 정확도와 강건성이 뛰어나다.
• 작은 부품(예: cotter_pin, steel_nail)에서는 10배 짧은 궤적과 5배 적은 입자로 5mm 이내 및 5° 이내의 오차를 달성한다.
• 실제 및 시뮬레이션된 슬라이딩 상호작용을 포함하는 YCB-Slide 데이터셋은 재현 가능한 벤치마킹을 가능하게 하며, 다양한 물체 형태에 대한 일반화 능력을 입증한다.