[논문 리뷰] 3D Shape Perception from Monocular Vision, Touch, and Shape Priors

Shaoxiong Wang, Jiajun Wu외 5명|arXiv (Cornell University)|2018. 08. 09.

Tactile and Sensory Interactions참고 문헌 43인용 수 8

한 줄 요약

이 논문은 단일 RGB 영상, GelSight를 통한 촉각 감지, 그리고 학습된 형태 사전을 융합하여 정확하고 효율적인 3D 물체 인식을 달성하는 하이브리드 3D 형상 복원 방법을 제안한다. 깊이 학습을 통해 단일 영상에서 초기 형상을 예측한 후, 높은 불확실성 영역을 능동적으로 선별하여 촉각으로 보정함으로써, 단지 5~10회의 촉각 측정만으로도 고해상도 3D 복원을 달성하며, 기존의 기준 대비 속도와 정확도에서 뚜렷한 우수성을 보인다.

ABSTRACT

Perceiving accurate 3D object shape is important for robots to interact with the physical world. Current research along this direction has been primarily relying on visual observations. Vision, however useful, has inherent limitations due to occlusions and the 2D-3D ambiguities, especially for perception with a monocular camera. In contrast, touch gets precise local shape information, though its efficiency for reconstructing the entire shape could be low. In this paper, we propose a novel paradigm that efficiently perceives accurate 3D object shape by incorporating visual and tactile observations, as well as prior knowledge of common object shapes learned from large-scale shape repositories. We use vision first, applying neural networks with learned shape priors to predict an object's 3D shape from a single-view color image. We then use tactile sensing to refine the shape; the robot actively touches the object regions where the visual prediction has high uncertainty. Our method efficiently builds the 3D shape of common objects from a color image and a small number of tactile explorations (around 10). Our setup is easy to apply and has potentials to help robots better perform grasping or manipulation tasks on real-world objects.

연구 동기 및 목표

• 단일 영상 기반의 3D 형상 인식에서 발생하는 음영, 2D-3D 모호성 등의 한계, 특히 투명하거나 반사성 물체에 대해 해결하고자 한다.
• 지속적인 촉각 측정이 전역 기하 구조를 추론하기 위해 많은 국소 측정이 필요로 하는 순수 촉각 기반 복원의 비효율성을 해결하고자 한다.
• 시각, 촉각, 학습된 형태 사전을 통합한 유일한 프레임워크를 통해 강건하고 효율적인 3D 복원을 달성하고자 한다.
• 예측 불확실성 기반으로 최적의 촉각 접촉 지점을 선택하는 능동적 탐색 정책을 개발하여 불확실성을 최소화하고 필요한 촉각 상호작용 수를 줄이고자 한다.
• 단일 RGB 영상과 소수의 촉각 측정만으로도 일반적인 실제 세계의 물체에 대해 정확한 3D 복원이 가능함을 입증하고자 한다.

제안 방법

• 대규모 3D CAD 모델 및 그들의 RGB-D 렌더링 데이터를 기반으로 훈련된 딥 네ural 네트워크를 사용하여 단일 단일 색상 영상에서 3D 바vox라이제이션 형상을 예측하며, 암묵적인 형태 사전을 활용한다.
• GelSight 센서를 통해 확보한 촉각 데이터는 고해상도 국소 표면 기하를 제공하며, 이는 학습된 형태 사전를 통해 전역적으로 형상 예측에 통합된다.
• 예측 불확실성에 기반하여 촉각 접촉 위치를 선택하는 능동적 탐색 정책을 사용하며, 시각적 신뢰도가 낮은 영역을 우선순위로 삼아 정보 수확량을 극대화한다.
• 내재 이미지(인트리닉스 이미지)를 중간 표현으로 사용하여 시각적 및 촉각 신호를 통합함으로써, 다양한 모odal 간 일관된 융합을 가능하게 한다.
• 국소 바vox 업데이트가 아닌 형태 사전을 통한 전역적인 형상 보정을 수행함으로써 일관성과 수렴 성능을 향상시킨다.
• 모델은 실제 세계의 물체, 특히 투명하거나 반사성 물체를 대상으로 평가되었으며, RGB 및 RGB-D 입력 모두에서 작동한다.

실험 결과

연구 질문

• RQ1 로봇이 단일 RGB 영상과 소수의 촉각 측정만으로도 정확한 3D 형상 복원을 달성할 수 있는가?
• RQ2 학습된 형태 사전을 통합함으로써 다중 모odal 입력에서의 3D 복원 효율성과 정확도는 어떻게 향상되는가?
• RQ3 능동적 탐색 정책은 무작위 또는 탐욕적 전략 대비 필요한 촉각 상호작용 수를 현저히 줄일 수 있는가?
• RQ4 일반적인 형태로 훈련된 사전 대비 특정 카테고리에 특화된 사전(예: 상자형 물체)이 복원 품질과 수렴 속도에 어떤 영향을 미치는가?
• RQ5 깊이 센서에 의존하지 않고도, 투명하거나 고도로 반사적인 물체와 같은 과제가 있는 물체를 얼마나 잘 복원할 수 있는가?

주요 결과

• 제안된 방법은 단지 5~10회의 촉각 측정만으로도 높은 정확도의 3D 형상 복원을 달성하며, 기준 방법 대비 상호작용 수를 크게 줄였다.
• 예측된 형상와 진짜 형상 간의 Chamfer 거리가 5~10회의 촉각 측정 내에서 인간 수준의 성능에 가까운 수준까지 감소함으로써 빠른 수렴을 보였다.
• 능동적 탐색 정책은 무작위 촉각 선택 대비 최대 50%까지 촉각 수를 줄였으며, 이는 정량적 Chamfer 거리 비교를 통해 입증되었다.
• 상자형 물체로 훈련된 형태 사전는 유사한 물체(예: 설탕 상자)의 복원 정확도를 향상시켜 카테고리 특화 사전의 유용성을 입증했다.
• 깊이 센서가 실패하는 투명하거나 반사성 물체에 대해서도 시각과 촉각 융합에 기반해 안정적으로 작동함을 입증했다.
• 제거 실험(ablation study) 결과, 형태 사전과 능동적 정책 둘 다 필수적임을 확인하였으며, 둘 중 하나를 제거할 경우 수렴 속도가 현저히 느려지고 최종 정확도도 떨어졌다.