[논문 리뷰] 3D Shape Reconstruction from Vision and Touch

Edward J. Smith, Roberto Calandra외 5명|arXiv (Cornell University)|2020. 07. 07.

Robot Manipulation and Learning참고 문헌 70인용 수 24

한 줄 요약

이 논문은 RGB 시각과 로봇 상호작용에서 유도된 시뮬레이션 터치 신호를 융합하여 3D 물체 모델링을 향상시키는 차트 기반 3D 형태 복원 방법을 제안한다. 그래프 컬러리티 네트워크(GCNs)를 활용해 고해상도 국소 촉각 데이터와 전반적인 시각적 맥락을 결합함으로써, 단일 모odal 기반 보다 뛰어난 복원 품질을 달성하며, 더 많은 캐치가 추가될수록 성능이 향상되고, 촉각 신호가 접촉 부위뿐 아니라 그 주변 영역까지 향상시킨다.

ABSTRACT

When a toddler is presented a new toy, their instinctual behaviour is to pick it upand inspect it with their hand and eyes in tandem, clearly searching over its surface to properly understand what they are playing with. At any instance here, touch provides high fidelity localized information while vision provides complementary global context. However, in 3D shape reconstruction, the complementary fusion of visual and haptic modalities remains largely unexplored. In this paper, we study this problem and present an effective chart-based approach to multi-modal shape understanding which encourages a similar fusion vision and touch information.To do so, we introduce a dataset of simulated touch and vision signals from the interaction between a robotic hand and a large array of 3D objects. Our results show that (1) leveraging both vision and touch signals consistently improves single-modality baselines; (2) our approach outperforms alternative modality fusion methods and strongly benefits from the proposed chart-based structure; (3) there construction quality increases with the number of grasps provided; and (4) the touch information not only enhances the reconstruction at the touch site but also extrapolates to its local neighborhood.

연구 동기 및 목표

• 인간 유아의 多모달 물체 관찰을 영감으로 삼아, 아직 탐색이 부족한 시각과 촉각의 융합을 3D 형태 복원에 적용하고자 한다.
• 전반적인 시각적 맥락과 고해상도 국소 촉각 정보를 효과적으로 융합하여 3D 복원의 정밀도를 향상시키는 방법을 개발하고자 한다.
• 기준으로 사용하기 위해 동기화된 RGB 및 촉각 신호를 포함한 로봇 손-물체 상호작용의 현실적인 시뮬레이션 데이터셋을 도입하고자 한다.
• 촉각 신호가 접촉 부위뿐 아니라 그 주변 지역까지도 향상시키는지 평가하고자 한다.

제안 방법

• 이 방법은 시각 및 촉각 모달리티별로 별도로 예측되는 분리된 메쉬 표면 요소(차트)를 사용하는 차트 기반 표현을 사용한다.
• RGB 이미지에서 유도된 시각 신호는 CNN 인코더를 통해 다중 척도 특징을 추출하고, 이를 GCN 기반의 차트 변형에 정점 특징과 융합한다.
• 촉각 신호는 DIGIT 유사 센서 모델을 사용해 시뮬레이션되며, 캐치 지점에서 고해상도 국소 형태 데이터를 제공한다.
• 빈칸 채우기 복원 전략은 촉각 차트를 활용해 전반적인 시각 차트 예측을 도와주며, 표면 완성도를 향상시킨다.
• 그래프 컬러리티 네트워크(GCNs)는 변형된 차트에 적용되어 메쉬 표면 전반에 걸쳐 형태 예측을 전파하고 정밀화한다.
• 예측된 3D 형태와 진짜 3D 형태 간의 차이를 최소화하는 복원 손실을 사용해 모델을 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 시각과 촉각 신호의 융합이 단일 모달 기반 방법에 비해 3D 형태 복원을 크게 향상시키는가?
• RQ2 제안된 차트 기반 아키텍처가 시각(전반적 맥락)과 촉각(국소 정밀도)의 상호보완적 강점을 효과적으로 활용하는가?
• RQ3 캐치의 수가 복원 품질에 어떤 영향을 미치며, 촉각이 직접 접촉 부위를 넘어서 일반화 능력을 향상시키는가?
• RQ4 촉각 신호가 접촉 영역 뿐 아니라 그 주변 국소 이웃 영역의 복원 형태를 향상시키는가?
• RQ5 복원 정확도와 내구성 측면에서 제안된 방법이 다른 융합 전략에 비해 어떻게 비교되는가?

주요 결과

• 시각과 촉각을 모두 활용함으로써 단일 모달 기반 보다 일관되게 복원 정확도가 향상되며, 다중 모달 모델이 시각 전용 및 촉각 전용 접근 방식을 모두 능가한다.
• 제안된 차트 기반 융합 방법은 다른 융합 전략보다 우수한 성능을 보이며, 다중 모달 신호를 통합하는 아키텍처 설계의 효과성을 입증한다.
• 캐치의 수가 많아질수록 복원 품질이 향상되며, 이는 추가적인 촉각 신호가 기하학적 제약 조건을 제공한다는 것을 시사한다.
• 촉각 정보는 접촉 부위의 복원을 향상시킬 뿐 아니라 주변 국소 이웃 영역의 오차를 감소시켜 촉각 정밀도의 공간적 전파를 암시한다.
• 모델은 촉각 지점에서 더 높은 국소 정확도를 달성하고 더 나은 전반적 표면 완성도를 보이며, 시각과 촉각이 3D 이해에서 상호보완적임을 검증한다.