[논문 리뷰] ClearGrasp: 3D Shape Estimation of Transparent Objects for Manipulation

Shreeyak S. Sajjan, Matthew R. Moore외 5명|arXiv (Cornell University)|2019. 10. 06.

Advanced Vision and Imaging참고 문헌 49인용 수 20

한 줄 요약

ClearGrasp는 RGB-D 카메라에서 투명 물체의 부정확한 깊이 추정을 보정하기 위해 표면 법선, 투명 표면 마스크, 음영/접촉 경계를 예측하고, 전역 최적화를 통해 깊이를 정밀하게 보정하는 딥러닝 방법을 제안한다. 이는 진공 흡착장치와 평행 쐐기 클램프를 사용할 때 각각 86%와 72%의 抓취 성공률을 기록하며, 실세계의 투명 물체에서 단일 영상 기반 깊이 추정 기준보다 유의미하게 뛰어난 성능을 보인다.

ABSTRACT

Transparent objects are a common part of everyday life, yet they possess unique visual properties that make them incredibly difficult for standard 3D sensors to produce accurate depth estimates for. In many cases, they often appear as noisy or distorted approximations of the surfaces that lie behind them. To address these challenges, we present ClearGrasp -- a deep learning approach for estimating accurate 3D geometry of transparent objects from a single RGB-D image for robotic manipulation. Given a single RGB-D image of transparent objects, ClearGrasp uses deep convolutional networks to infer surface normals, masks of transparent surfaces, and occlusion boundaries. It then uses these outputs to refine the initial depth estimates for all transparent surfaces in the scene. To train and test ClearGrasp, we construct a large-scale synthetic dataset of over 50,000 RGB-D images, as well as a real-world test benchmark with 286 RGB-D images of transparent objects and their ground truth geometries. The experiments demonstrate that ClearGrasp is substantially better than monocular depth estimation baselines and is capable of generalizing to real-world images and novel objects. We also demonstrate that ClearGrasp can be applied out-of-the-box to improve grasping algorithms' performance on transparent objects. Code, data, and benchmarks will be released. Supplementary materials available on the project website: https://sites.google.com/view/cleargrasp

연구 동기 및 목표

• RGB-D 데이터에서 투명 물체의 부정확한 깊이 추정 문제를 해결함으로써 로봇 조작을 가능하게 하기 위해.
• 합성 학습 데이터와 도메인 랜덤라이제이션을 활용해 실세계의 투명 물체로 일반화할 수 있는 방법을 개발하기 위해.
• 깊이 추정 정확도 향상을 통해 투명 물체에서의 로봇 抓취 성능을 향상시키기 위해.
• 대규모 합성 데이터셋과 실세계 기준 테스트 벤치마크를 구축하여 투명 물체의 기하학적 특성 분석을 가능하게 하기 위해.

제안 방법

• ClearGrasp는 단일 RGB-D 이미지에서 표면 법선, 투명 표면 마스크, 음영/접촉 경계를 예측하기 위해 세 개의 딥 컨volution 네트워크를 사용한다.
• 투명 표면를 마스킹하여 신뢰할 수 없는 깊이 값을 제거하고, 비투명 표면에서의 신뢰할 수 있는 깊이를 접촉 및 음영 경계를 통해 전파한다.
• 예측된 법선, 마스크, 경계 지도를 사용하여 전역 최적화를 수행함으로써 初기 깊이 맵을 정밀하게 보정한다.
• 합성 데이터에서 학습할 때 도메인 랜덤라이제이션을 적용하여 실세계의 변동성에 대한 내성을 향상시킨다.
• 도메인 갭을 줄이기 위해, 모델은 도메인 외부의 실세계 장면(예: Scannet, Matterport)에서 사전 학습하고, 도메인 내부의 합성 데이터로 미세 조정한다.
• 경계 예측에 가중치 손실 함수를 사용하며, 접촉 경계를 명시적으로 모델링하여 깊이 보완 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 합성 데이터에서 학습한 딥러닝 모델이 실세계의 투명 물체로 일반화되어 정확한 3차원 기하학적 추정을 수행할 수 있는가?
• RQ2 표면 법선 예측, 투명 마스크 추정, 경계 검출의 조합이 투명 물체의 깊이 보완 성능 향상에 얼마나 효과적인가?
• RQ3 도메인 내부의 합성 데이터와 도메인 외부의 실세계 장면 데이터를 혼합하면 새로운 투명 물체와 실세계 장면으로의 일반화 성능이 향상되는가?
• RQ4 기존의 깊이 추정 방법에 비해 ClearGrasp는 투명 물체에서의 로봇 抓취 성능을 어느 정도 향상시키는가?
• RQ5 마스크, 법선, 접촉 경계 각각의 구성 요소가 최종 깊이 추정 정확도에 기여하는 정도는 어느 정도인가?

주요 결과

• ClearGrasp는 실세계 벤치마크에서 평균 깊이 오차 0.027 m(중앙값 0.048 m)을 기록하며, 단일 영상 기반 깊이 추정 기준보다 유의미하게 뛰어난 성능을 보였다.
• 모델은 실세계 로봇 플랫폼에서 진공 흡착장치의 抓취 성공률을 64%에서 86%로, 평행 쐐기 클램프의 성공률을 12%에서 72%로 향상시켰다.
• 진짜 양성률 >95%를 기록하는 마스크 예측은 노이즈가 많은 깊이 값을 제거하여 오차를 크게 감소시켰다.
• 접촉 경계를 포함하고 가중치 손실 함수를 사용함으로써 깊이 보완 성능이 향상되었으며, 전체 모델은 접촉 경계 벤치마크에서 97.17%의 정확도를 기록했다.
• Scannet/Matterport와 같은 도메인 외부 실세계 장면에서 사전 학습한 후 도메인 내부 합성 데이터로 미세 조정하면 실세계 테스트 세트로의 일반화 성능이 가장 우수했다.
• 제거 실험 결과, 마스크, 법선, 접촉 경계 모두 최적 성능 달성에 필수적인 구성 요소로 확인되었다.