[논문 리뷰] Multi-Modal Geometric Learning for Grasping and Manipulation

Jacob Varley, David Watkins-Valls외 1명|arXiv (Cornell University)|2018. 03. 20.

Robot Manipulation and Learning참고 문헌 26인용 수 7

한 줄 요약

이 논문은 깊이 및 촉각 감지 데이터를 3D CNN를 통해 융합하는 다중 모odal 기하학적 학습 프레임워크를 제안하여 3D 물체 재구성 및 로봇 조작 성능을 향상시킨다. 깊이 데이터의 가림을 보완하기 위해 촉각 피드백을 활용함으로써 모델은 기하학적 추론 능력과 집게 성공률을 크게 향상시키며, 벤치마크 평가에서 기존의 시각-촉각 방법들을 능가한다.

ABSTRACT

This work provides an architecture that incorporates depth and tactile information to create rich and accurate 3D models useful for robotic manipulation tasks. This is accomplished through the use of a 3D convolutional neural network (CNN). Offline, the network is provided with both depth and tactile information and trained to predict the object's geometry, thus filling in regions of occlusion. At runtime, the network is provided a partial view of an object. Tactile information is acquired to augment the captured depth information. The network can then reason about the object's geometry by utilizing both the collected tactile and depth information. We demonstrate that even small amounts of additional tactile information can be incredibly helpful in reasoning about object geometry. This is particularly true when information from depth alone fails to produce an accurate geometric prediction. Our method is benchmarked against and outperforms other visual-tactile approaches to general geometric reasoning. We also provide experimental results comparing grasping success with our method.

연구 동기 및 목표

• 깊이 및 촉각 감지를 융합하여 로봇 조작에서 3D 물체 기하학적 예측 능력을 향상시키는 것.
• 깊이 감지만으로는 처리하기 어려운 가림 및 부족한 시야 문제를 해결하는 것.
• 부분적인 깊이 데이터와 흩어진 촉각 데이터를 기반으로 전체 물체 기하학적 구조를 추론하는 기반 학습 방법을 개발하는 것.
• 최소한의 촉각 입력이라도 기하학적 추론 능력과 조작 성공률 향상에 상당한 기여를 할 수 있음을 입증하는 것.
• 기존의 시각-촉각 접근 방식과의 비교를 통해 제안된 방법이 조작 작업에서 우월함을 검증하는 것.

제안 방법

• 모델은 사전에 쌍으로 제공된 깊이 및 촉각 데이터를 기반으로 오프라인으로 훈련된 3D 합성곱 신경망(CNN)을 사용하여 완전한 물체 기하학적 구조를 예측한다.
• 추론 과정에서 실시간으로 부분적인 깊이 관측치와 촉각 센서 읽기 값을 융합하여 전체 3D 형태를 추론한다.
• 깊이 감지가 가림 또는 낮은 무늬로 인해 실패하는 영역에서 촉각 데이터를 깊이 데이터의 보완으로 사용한다.
• 모델은 완전하지 않은 입력에서 숨겨진 부분을 추론할 수 있도록 훈련되어 완전한 물체 기하학적 구조를 재구성하도록 학습된다.
• 깊이 및 촉각 특징의 공동 표현을 학습함으로써 다중 모달 입력을 처리할 수 있도록 아키텍처가 설계되었다.
• 희소한 촉각 피드백 조건에서도 강력한 기하학적 추론 능력을 유지하며, 새로운 물체에 대한 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 깊이 데이터가 완전하지 않을 경우 촉각 피드백이 3D 물체 기하학적 재구성에 상당한 기여를 할 수 있는가?
• RQ2 깊이 및 촉각 데이터 융합 방식이 깊이만 또는 촉각만 사용하는 방법보다 기하학적 추론에서 어떻게 성능이 뛰어나게 되는가?
• RQ3 작은 양의 촉각 데이터가 가림 영역에서 3D 형태 예측 정확도를 얼마나 향상시키는가?
• RQ4 제안된 다중 모달 학습 프레임워크가 로봇 집게 성공률 향상에 측정 가능한 기여를 하는가?
• RQ5 이 방법은 다양한 물체 형태와 조작 시나리오에 대해 얼마나 잘 일반화되는가?

주요 결과

• 제안된 방법은 일반적인 기하학적 추론 작업에서 다른 시각-촉각 접근 방식을 능가한다.
• 최소한의 촉각 피드백이라도 3D 물체의 가림 영역 재구성에 상당한 향상을 이룬다.
• 깊이 및 촉각 데이터 융합은 깊이 감지만으로는 달성할 수 없는 더 정확하고 완전한 3D 형태 예측을 가능하게 한다.
• 실험 평가에서 기준 방법 대비 높은 집게 성공률을 보였다.
• 3D CNN는 특히 도전적인 가림 상황에서 다중 모달 입력을 효과적으로 활용하여 물체 기하학적 구조를 추론하는 데 성공했다.
• 결과는 촉각 감지가 깊이 센서만으로는 확보할 수 없는 중요한 기하학적 단서를 제공함을 확인시켰다.