[논문 리뷰] 3D Object Detection and Pose Estimation of Unseen Objects in Color Images with Local Surface Embeddings

Giorgia Pitteri, Aurélie Bugeau외 2명|arXiv (Cornell University)|2020. 10. 08.

Robot Manipulation and Learning참고 문헌 63인용 수 27

한 줄 요약

이 논문은 재훈련 없이도 unseen, untextured 물체에 대해 오직 CAD 모델만을 사용하여 6D 물체 자세 추정을 수행하는 새로운 방법을 제안한다. 학습 가능한 국소 표면 임베딩(LSE)을 활용해 RGB 이미지에서 2D-3D 대응 관계를 수립하고, 클래스에 관계없는 Mask R-CNN을 통해 물체 세그멘테이션을 수행하며, RANSAC과 PnP를 조합해 견고하게 자세를 추정한다. 이로 인해 T-LESS에서 최신 기술 수준의 성능을 달성하였으며, 깊이 데이터나 진짜 바운딩 박스를 요구하지 않는다.

ABSTRACT

We present an approach for detecting and estimating the 3D poses of objects in images that requires only an untextured CAD model and no training phase for new objects. Our approach combines Deep Learning and 3D geometry: It relies on an embedding of local 3D geometry to match the CAD models to the input images. For points at the surface of objects, this embedding can be computed directly from the CAD model; for image locations, we learn to predict it from the image itself. This establishes correspondences between 3D points on the CAD model and 2D locations of the input images. However, many of these correspondences are ambiguous as many points may have similar local geometries. We show that we can use Mask-RCNN in a class-agnostic way to detect the new objects without retraining and thus drastically limit the number of possible correspondences. We can then robustly estimate a 3D pose from these discriminative correspondences using a RANSAC- like algorithm. We demonstrate the performance of this approach on the T-LESS dataset, by using a small number of objects to learn the embedding and testing it on the other objects. Our experiments show that our method is on par or better than previous methods.

연구 동기 및 목표

• 재훈련 없이도 오직 CAD 모델과 RGB 이미지만을 사용하여 unseen, untextured 산업용 물체에 대해 6D 자세 추정을 가능하게 한다.
• 실제 산업 환경에서 대칭성, 무문자성, 그리고 새로운 물체에 대한 자세의 모호함 문제를 해결한다.
• 기하학적 임베딩을 학습하여 물체 간 카테고리 간 일반화 능력을 향상시키고, 회전에 대해 불변적이며, 가림에 강건한 방법을 개발한다.
• 추론 과정에서 깊이 데이터, 진짜 바운딩 박스, 또는 진짜 마스크에 의존하지 않도록 한다.

제안 방법

• 3D 표면 점 주변의 기하학적 구조를 반영하고, 물체의 회전에 대해 불변적인 학습 가능한 국소 표면 임베딩(LSE)을 도입한다.
• 기존 물체의 시뮬레이션 이미지에서 학습된 딥 네트워크를 통해 입력 RGB 이미지의 각 픽셀에 대한 LSE 예측을 수행한다.
• 이미지 픽셀에서 예측한 LSE와 CAD 모델 상의 사전 계산된 3D 점의 LSE를 매칭하여 2D-3D 대응 관계를 수립한다.
• 클래스에 관계없는 Mask R-CNN을 사용해 이미지 내에서 알려지지 않은 물체를 탐지하고 세그멘테이션하며, 대응 관계가 동일한 물체 위에 위치하도록 제약을 둔다.
• 매칭된 대응 관계를 기반으로 RANSAC과 PnPsolver를 적용해 6D 물체 자세를 견고하게 추정한다.
• LSE의 기하학적 불변성과 클래스에 관계없는 Mask R-CNN의 zero-shot 세그멘테이션 능력을 활용해 새로운 물체로의 일반화를 달성한다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델이 재훈련 없이도 RGB 이미지에서 unseen, untextured 물체로 일반화 가능한 국소 표면 임베딩을 예측할 수 있는가?
• RQ2 물체가 무문자성과 대칭성을 띠고 있으며, 사전 지식이나 진짜 애너테이션 없이도 2D-3D 대응 관계를 견고하게 수립할 수 있는가?
• RQ3 클래스에 관계없는 Mask R-CNN이 이미지 내에서 알려지지 않은 물체를 효과적으로 세그멘테이션하여 RANSAC 샘플링을 제약하고 자세의 모호함을 줄일 수 있는가?
• RQ4 T-LESS 벤치마크에서 제안된 방법이 최신 기술 대비 자세 정확도와 unseen 카테고리로의 일반화 능력에서 어떻게 성능을 내는가?
• RQ5 깊이 데이터나 진짜 바운딩 박스 없이도 경쟁 가능한 성능을 달성할 수 있는가?

주요 결과

• BOP 벤치마크 프로토콜에서 평균 VSD 리콜이 23.27을 기록하여 MP-Encoder(20.53)를 초월하며, unseen 물체로의 일반화 능력이 뛰어나다.
• T-LESS 테스트 세트에서 15개의 unknown 물체 중 13개에서 CorNet을 능가했으며, 평균 정확도는 46.7% (±12.0)를 기록해 뛰어난 견고성과 일반화 능력을 입증했다.
• 모서리가 뚜렷하지 않은 둥근 형태의 물체도 성공적으로 처리했으며, 이는 역할 기반의 코너 검출 방법과는 대비된다.
• LSE 예측 네트워크는 문양이 있는 물체에도 잘 일반화되며, T-LESS 물체에 무작위 문양을 적용한 경우에도 성공적인 LSE 예측이 이루어졌다.
• 깊이 데이터, 진짜 마스크, 바운딩 박스 없이도 경쟁 가능한 성능를 달성하여 실생활 산업 현장 적용에 적합하다.
• LSE의 회전 불변성과 마스크된 대응 관계를 활용한 RANSAC 덕분에 가림과 대칭성에 대해 강건한 성능을 보였다.