[논문 리뷰] SilhoNet: An RGB Method for 3D Object Pose Estimation and Grasp Planning.

Gideon Billings, Matthew Johnson‐Roberson|arXiv (Cornell University)|2018. 09. 18.

Robot Manipulation and Learning참고 문헌 23인용 수 11

한 줄 요약

SilhoNet은 ROI 제안을 통해 객체 실루엣과 차폐 마스크를 예측하는 CNN 파이프라인을 사용하여 RGB만을 사용하는 6차원 객체 자세 추정 및 그립 계획을 위한 새로운 방법이다. 이는 이러한 실루엣에서 3D 자세를 회귀함으로써 단일 영상만을 사용하여 YCB-Video 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Autonomous robot manipulation involves estimating the translation and orientation of the object to be manipulated as a 6-degree-of-freedom (6D) pose. Methods using RGB-D data have shown great success in solving this problem. However, there are situations where cost constraints or the working environment may limit the use of RGB-D sensors. When limited to monocular camera data only, the problem of object pose estimation is very challenging. In this work, we introduce a novel method called SilhoNet that predicts 6D object pose from monocular images. We use a Convolutional Neural Network (CNN) pipeline that takes in Region of Interest (ROI) proposals to simultaneously predict an intermediate silhouette representation for objects with an associated occlusion mask and a 3D translation vector. The 3D orientation is then regressed from the predicted silhouettes. We show that our method achieves better overall performance on the YCB-Video dataset than two state-of-the art networks for 6D pose estimation from monocular image input.

연구 동기 및 목표

• 비용이나 환경적 제약으로 인해 RGB-D 센서를 사용하기 어려운 환경에서 6차원 객체 자세 추정 문제를 해결하기 위해.
• 심도 센서 의존도를 피하고 단일 RGB 입력만을 사용하여 정확한 6차원 자세 추정 및 그립 계획을 가능하게 하기 위해.
• 객체 실루엣과 차폐 마스크를 동시에 예측하는 딥 러닝 파이프라인을 개발하여 자세 추정의 강건성을 향상시키기 위해.
• 중간 단계의 실루엣 표현을 감독 신호로 활용하여 단일 영상 기반 6차원 자세 추정 성능을 향상시키기 위해.
• 단일 RGB 입력만을 사용하여 YCB-Video 벤치마크에서 최신 기술 수준의 결과를 달성함으로써 실루엣 기반 추론이 단일 영상 환경에서 유용함을 입증하기 위해.

제안 방법

• 장면 내 개별 객체를 국소화하고 집중하기 위해 ROI(영역의 관심) 제안을 CNN 기반 파이프라인의 입력으로 사용하기 위해.
• 각 객체 제안에 대해 중간 단계의 실루엣 표현과 관련된 차폐 마스크를 동시에 예측하도록 네트워크를 훈련하기 위해.
• 예측된 실루엣을 3D 자세 공간 내 객체의 6차원 자세를 회귀하기 위한 감독 신호로 사용하기 위해.
• ROI 특징에서 직접 3D 이동 벡터를 예측하여 전체 6차원 자세 추정을 가능하게 하기 위해.
• 실루엣의 기하학적 일관성을 활용하여 차폐 및 시점 변화 상황에서도 일반화 및 강건성을 향상시키기 위해.
• 실루엣 재구성, 차폐 마스크 예측, 6차원 자세 회귀를 통합한 다중 작업 손실을 사용하여 엔드 투 엔드로 훈련하기 위해.

실험 결과

연구 질문

• RQ1 심도 감독 없이 단일 RGB 기반 방법이 경쟁 가능한 6차원 객체 자세 추정 성능을 달성할 수 있는가?
• RQ2 직접 회귀 대비 중간 단계의 실루엣 표현을 예측하는 것이 6차원 자세 추정 정확도를 향상시키는가?
• RQ3 실제 로봇 조작 시나리오에서의 차폐 및 시점 변화에 본 방법은 어떻게 대처하는가?
• RQ4 실루엣 기반 표현이 단일 영상 환경에서 3D 자세 회귀의 효과적인 감독 신호로 기능할 수 있는가?
• RQ5 기본 벤치마크에서 SilhoNet은 최신 기술 수준의 RGB 전용 6차원 자세 추정 네트워크와 비교해 어떻게 성능을 내는가?

주요 결과

• SilhoNet은 단일 RGB 입력만을 사용하여 YCB-Video 데이터셋에서 6차원 객체 자세 추정 분야에서 최신 기술 수준의 성능을 달성한다.
• 실루엣과 함께 차폐 마스크를 명시적으로 예측함으로써 차폐에 대한 강건성이 향상됨을 입증한다.
• 중간 단계의 실루엣 예측을 활용한 결과, 직접 회귀 기반 베이스라인 대비 더 정확한 3D 자세 회귀 성능을 기록한다.
• 부분적인 객체 가시성 조건에서도 높은 정확도로 6차원 자세 추정을 수행할 수 있다.
• 성능 향상 요인은 훈련 중 실루엣 표현이 제공하는 기하학적 인덕티브 바이어스에 기인한다.
• YCB-Video 벤치마크에서 두 개의 최신 기술 수준 네트워크보다 뛰어난 성능을 보였다.