[논문 리뷰] CosyPose: Consistent multi-view multi-object 6D pose estimation

Yann Labbé, Justin Carpentier외 2명|arXiv (Cornell University)|2020. 08. 19.

Robotics and Sensor-Based Localization참고 문헌 58인용 수 404

한 줄 요약

CosyPose는 촬영된 카메라 시점이 알려지지 않은 RGB 이미지에서 카메라 자세와 물체 6자리 자세를 동시에 추정하는 다중 시점, 다중 물체 6자리 자세 추정 프레임워크를 제안한다. 이는 렌더링-비교 기반 단일 시점 자세 추정기, 뷰 간에 강건한 RANSAC 기반의 물체 수준 매칭, 그리고 전역적 물체 수준의 번들 조정을 활용하여 깊이 센서 없이도 일관되고 정확한 장면 복원을 달성하며, YCB-Video 및 T-LESS에서 최신 기술을 크게 앞서나간다.

ABSTRACT

We introduce an approach for recovering the 6D pose of multiple known objects in a scene captured by a set of input images with unknown camera viewpoints. First, we present a single-view single-object 6D pose estimation method, which we use to generate 6D object pose hypotheses. Second, we develop a robust method for matching individual 6D object pose hypotheses across different input images in order to jointly estimate camera viewpoints and 6D poses of all objects in a single consistent scene. Our approach explicitly handles object symmetries, does not require depth measurements, is robust to missing or incorrect object hypotheses, and automatically recovers the number of objects in the scene. Third, we develop a method for global scene refinement given multiple object hypotheses and their correspondences across views. This is achieved by solving an object-level bundle adjustment problem that refines the poses of cameras and objects to minimize the reprojection error in all views. We demonstrate that the proposed method, dubbed CosyPose, outperforms current state-of-the-art results for single-view and multi-view 6D object pose estimation by a large margin on two challenging benchmarks: the YCB-Video and T-LESS datasets. Code and pre-trained models are available on the project webpage https://www.di.ens.fr/willow/research/cosypose/.

연구 동기 및 목표

• 알려지지 않은 카메라 자세를 가진 다수의 RGB 이미지에서 장면 내 다수의 알려진 물체의 일관된 6자리 자세를 추정하는 문제를 해결하기 위해.
• 깊이 센서 없이도 물체의 대칭성, 누락되거나 잘못된 검출, 알려지지 않은 물체 수를 처리하기 위해.
• 새로운 렌더링-비교 접근법을 통해 단일 시점 6자리 자세 추정 정확도를 향상시키기 위해.
• 전역 최적화 전략을 사용하여 뷰 간에 카메라 및 물체 자세를 공동으로 개선하기 위해.
• 복잡한 장면에서 잘못된 검출 및 간섭 물체에 대해 강건성을 확보하기 위해.

제안 방법

• RGB 이미지에서 6자리 자세 가설을 생성하는 DeepIM에 영감을 받은 렌더링-비교 기반의 단일 시점 6자리 자세 추정 방법.
• 다양한 뷰 간의 6자리 자세 가설을 매칭하여 상대적 카메라 자세를 추정하고 일관된 물체 인스턴스를 식별하는 강건한 RANSAC 기반의 물체 수준 매칭 절차.
• 모든 뷰에서 재투영 오차를 최소화하는 물체 수준의 번들 조정을 사용한 전역 정밀 조정 단계로 자세 정확도를 향상시킴.
• 중복된 물체 가설을 해결하고 가장 일관성 있는 후보를 유지하기 위한 3D 비최대 억압(NMS) 전략.
• 일관된 가설 매칭 분석을 통해 장면 내 물체 수를 자동으로 복구하는 방법.
• 간섭 물체에서 유래한 일관성 없는 자세 가설(예: 간섭 물체)을 이상치로 표시하는 강건한 필터링 메커니즘으로, 미리보지 않은 물체로의 일반화 능력을 향상시킴.

실험 결과

연구 질문

• RQ1 알려지지 않은 카메라 자세나 깊이 데이터 없이도 다중 시점, 다중 물체 6자리 자세 추정 시스템이 일관된 장면 복원을 달성할 수 있는가?
• RQ2 단일 시점 네트워크에서 유도된 일관성 없는 또는 잘못된 6자리 자세 가설을 뷰 간 일관성 기반으로 어떻게 걸러낼 수 있는가?
• RQ3 다양한 뷰를 통합할 때 전역 번들 조정이 자세 정확도에 얼마나 기여하는가?
• RQ4 이 방법은 복잡한 장면에서 대칭성, 무문자, 부분적으로 가림된 물체를 어떻게 다루는가?
• RQ5 시스템은 물체 데이터베이스에 없는 간섭 물체에서 유래한 가짜 검출을 자동으로 탐지하고 거부할 수 있는가?

주요 결과

• CosyPose는 T-LESS 데이터셋에서 이전 최신 기술 대비 34.2%의 절대적 성능 향상을 달성하여 6자리 자세 추정 정확도 향상이 뚜렷하게 입증되었다.
• 알려지지 않은 카메라 자세나 클래스당 한 개의 물체로 제한하지 않는다는 점에서, YCB-Video에서 [20]을 뛰어넘는 성능을 기록하였다.
• 비주얼라이제이션과 정량적 결과를 통해, 다양한 뷰 간 일관성 없는 자세 가설을 식별함으로써 간섭 물체에서 유래한 가짜 검출을 성공적으로 걸러내는 것으로 확인되었다.
• 3D NMS의 사용이 중복된 물체 가설을 효과적으로 해결하여, 각 물체 인스턴스에 대해 가장 일관성 있는 6자리 자세 추정치만 유지함으로써 성능 향상을 이끌어냈다.
• 적어도 세 개 이상의 일관된 물체 후보가 뷰 간에 존재하는 한, 일부 뷰에 두 개의 물체만 노출되어 있어도 시스템이 장면을 정확히 재구성할 수 있었다.
• 일관된 가짜 검출(예: 유사한 시점에서 발생하는 경우)과 희박한 뷰에서의 누락된 검출 등의 한계를 규명하고 분석하였으며, 잠재적인 완화 전략을 제안하였다.