[논문 리뷰] Tactile Object Pose Estimation from the First Touch with Geometric Contact Rendering

Maria Bauzá Villalonga, Eric Valls외 3명|arXiv (Cornell University)|2020. 12. 09.

Tactile and Sensory Interactions인용 수 38

한 줄 요약

이 논문은 단일 촉각 인상으로 6D 객체 자세를 추정하는 시뮬레이션으로 학습된 객체 특화 인지 모델을 제시한다. 이는 물체 자세 분포를 얻고 다중 접촉 확장을 가능하게 하는, 객체 포즈 격자에서 미리 계산된 밀집 시뮬레이션 접촉 형태 세트와 실제 접촉 모양을 매칭하는 방법이다.

ABSTRACT

In this paper, we present an approach to tactile pose estimation from the first touch for known objects. First, we create an object-agnostic map from real tactile observations to contact shapes. Next, for a new object with known geometry, we learn a tailored perception model completely in simulation. To do so, we simulate the contact shapes that a dense set of object poses would produce on the sensor. Then, given a new contact shape obtained from the sensor output, we match it against the pre-computed set using the object-specific embedding learned purely in simulation using contrastive learning. This results in a perception model that can localize objects from a single tactile observation. It also allows reasoning over pose distributions and including additional pose constraints coming from other perception systems or multiple contacts. We provide quantitative results for four objects. Our approach provides high accuracy pose estimations from distinctive tactile observations while regressing pose distributions to account for those contact shapes that could result from different object poses. We further extend and test our approach in multi-contact scenarios where several tactile sensors are simultaneously in contact with the object. Website: http://mcube.mit.edu/research/tactile_loc_first_touch.html

연구 동기 및 목표

• 알려진 3D 물체의 자세를 첫 번째 촉각 접촉으로 추정하는 프레임워크를 개발한다.
• 단일 점 추정이 아니라 자세 분포 추론을 가능하게 한다.
• 접촉 모양을 자세 가능도에 매핑하는 객체 특이 인지 모델을 학습하기 위해 시뮬레이션을 활용한다.
• 다중 접촉 시나리오를 지원하고 다른 센서나 사전 정보로부터의 추가 자세 제약을 통합한다.

제안 방법

• 200x200 RGB 촉각 이미지를 200x200 깊이 접촉-모양 이미지로 매핑하는 신경망으로 촉각 이미지의 접촉 모양을 예측한다.
• 3D 물체 모델과 가상 센서 설정을 사용한 기하학적 접촉 렌더링으로 시뮬레이션 접촉 모양을 렌더링한다.
• 사물 특이적인 조밀한 접촉 포즈 격자와 대응하는 접촉 모양을 생성한다.
• 대조 학습(modified MoCo)을 통해 객체 특이 임베딩을 학습하여 격자 내에서 접촉 모양을 자세 가능도에 매핑한다.
• 새로운 접촉 모양을 저차원 임베딩으로 인코딩하고 매트릭스-벡터 곱을 통해 자세 격자 전반의 가능도를 계산한 뒤 소프트맥스를 적용하여 자세 분포를 얻는다.
• 그리드 해상도를 넘어 정렬을 개선하기 위해 포인트-클라우드 정합 방법(FilterReg)으로 상위 자세 가설을 정제한다.
• 확률적 곱 모델 하에 다수의 촉각 관측으로부터의 자세 가능도를 결합하여 다중 접촉 설정으로 프레임워크를 확장한다.

실험 결과

연구 질문

• RQ1 known object의 포즈를 시뮬레이션으로 학습된 객체 특이 인지 모델을 사용해 첫 촉각에서 정확하게 추정할 수 있는가?
• RQ2 실제 촉각 접촉 모양을 사전에 계산된 시뮬레이션 접촉 모양의 밀집 세트와 매칭하면 신뢰할 수 있는 자세 가능도와 분포를 얻을 수 있는가?
• RQ3 다중 접촉 관찰을 도입하면 자세 추정 정확도와 불확실성에 어떤 영향을 미치는가?
• RQ4 다른 인지 시스템이나 priors로부터의 자세 제약을 자세 추정 프레임워크에 통합할 수 있는가?

주요 결과

• 이 접근법은 다수의 물체에 대해 첫 촉각에서 정확한 자세 추정을 제공하며, 자세 분포는 접촉 모양의 비유일성을 반영한다.
• 객체별로 밀집한 격자(물체당 5k–20k 포즈)와 학습된 임베딩을 결합해 단일 행렬-벡터 곱으로 가능도를 효율적으로 계산할 수 있다.
• 상위 자세 가설을 FilterReg로 정제하면 가능 위치가 정합될 때 추정 정확도가 향상된다.
• 다중 접촉 정보는 기구학적 접근만 사용하는 것보다 자세 불확실성을 줄여준다.
• 이 방법은 자세 정확도에서 실질적인 이점을 보이며 비유일한 접촉 시나리오에서 다모드 분포를 포착한다.