[논문 리뷰] FoundPose: Unseen Object Pose Estimation with Foundation Features

Evin Pınar Örnek, Yann Labbé외 5명|arXiv (Cornell University)|2023. 11. 30.

Advanced Neural Network Applications인용 수 4

한 줄 요약

FoundPose는 DINOv2 기초 특징을 사용하여 개별 물체에 대한 훈련 없이 단일 RGB 이미지에서 미리보지 않은 강체 물체의 6자리 자세 추정을 가능하게 한다. DINOv2 패치 특징을 활용해 효율적인 템플릿 검색, 2D-3D 대응 매칭 및 특징 메트릭 정밀 조정을 통해 BOP 벤치마크에서 최신 기술 수준의 정확도와 속도를 달성하며, 기존의 RGB 전용 방법들을 능가한다.

ABSTRACT

We propose FoundPose, a model-based method for 6D pose estimation of unseen objects from a single RGB image. The method can quickly onboard new objects using their 3D models without requiring any object- or task-specific training. In contrast, existing methods typically pre-train on large-scale, task-specific datasets in order to generalize to new objects and to bridge the image-to-model domain gap. We demonstrate that such generalization capabilities can be observed in a recent vision foundation model trained in a self-supervised manner. Specifically, our method estimates the object pose from image-to-model 2D-3D correspondences, which are established by matching patch descriptors from the recent DINOv2 model between the image and pre-rendered object templates. We find that reliable correspondences can be established by kNN matching of patch descriptors from an intermediate DINOv2 layer. Such descriptors carry stronger positional information than descriptors from the last layer, and we show their importance when semantic information is ambiguous due to object symmetries or a lack of texture. To avoid establishing correspondences against all object templates, we develop an efficient template retrieval approach that integrates the patch descriptors into the bag-of-words representation and can promptly propose a handful of similarly looking templates. Additionally, we apply featuremetric alignment to compensate for discrepancies in the 2D-3D correspondences caused by coarse patch sampling. The resulting method noticeably outperforms existing RGB methods for refinement-free pose estimation on the standard BOP benchmark with seven diverse datasets and can be seamlessly combined with an existing render-and-compare refinement method to achieve RGB-only state-of-the-art results. Project page: evinpinar.github.io/foundpose.

연구 동기 및 목표

• 개별 물체에 대한 훈련 없이도 새로운 강체 물체에 대한 6자리 자세 추정을 가능하게 하기 위해.
• DINOv2 기초 특징의 일반화 능력을 활용하여 제로샷 자세 추정을 가능하게 하기 위해.
• 빠른 온라인 추론을 지원하는 최소한의 확장 가능한 물체 표현 방식을 설계하기 위해.
• 기존의 RGB 전용 방법들에 비해 표준 벤치마크(예: BOP)에서 정확도와 속도를 향상시키기 위해.
• 특징 메트릭 정밀 조정과 MegaPose의 보완적 사용이 효과적인지 검증하기 위해.

제안 방법

• 온보딩 과정에서 물체의 渲染된 RGB-D 템플릿에서 DINOv2 패치 특징을 추출하고, 깊이 정보를 사용해 3D로 등록한다.
• DINOv2 패치 특징에서 Bag-of-Words 서술자를 구성하여 데이터베이스에서 유사한 템플릿을 신속하게 검색할 수 있도록 한다.
• 추론 과정에서 물체 마스크가 있는 쿼리 이미지를 사용하여 Bag-of-Words 서술자의 코사인 유사도를 기반으로 상위-k 유사한 템플릿을 검색한다.
• 쿼리와 검색된 템플릿 간의 DINOv2 패치 특징을 매칭하여 2D-3D 대응 관계를 설정한다.
• 2D-3D 대응 관계에서 PnPRANSAC을 사용해 자세 가설을 생성한다.
• 가장 좋은 가설은 거친 패치 샘플링으로 인한 오차를 줄이기 위해 특징 메트릭 정렬을 통해 정밀 조정된다.

실험 결과

연구 질문

• RQ1 DINOv2 기초 특징을 사용하면, 개별 물체에 대한 미세조정이나 물체 전용 훈련 없이도 새로운 물체에 대해 정확한 6자리 자세 추정이 가능한가?
• RQ2 DINOv2 패치 특징에서 구성한 Bag-of-Words 서술자가 음영과 도메인 이동 조건에서도 템플릿 검색에 얼마나 효과적인가?
• RQ3 특징 메트릭 정밀 조정은 기존의 정밀 조정 방법(MegaPose 등)과 조합했을 때 자세 추정 정확도를 향상시킬 수 있는가?
• RQ4 BOP 벤치마크에서 기존의 RGB 전용 방법들과 비교해 FoundPose의 정확도와 추론 속도는 어떻게 성능을 내는가?
• RQ5 다양한 DINOv2 레이어와 백본 아키텍처가 자세 추정 성능에 어떤 영향을 미치는가?

주요 결과

• FoundPose는 BOP 벤치마크에서 정확도와 속도 면에서 모든 기존 RGB 전용 방법들을 능가하며, 개별 물체에 대한 훈련 없이도 최신 기술 수준의 성능을 달성한다.
• DINOv2 ViT-L 레이어 18에 레지스터를 사용한 패치 서술자를 사용할 경우 기하학적 일관성과 분류 능력의 최적의 균형을 확보한다.
• Bag-of-Words 기반 템플릿 검색 방법은 cls-token 기반 검색보다 음영에 훨씬 더 강건하며, 정확도를 최대 19% 향상시킨다(정확한 마스크 사용 시).
• 특징 메트릭 정밀 조정은 MegaPose 정밀 조정과 보완적으로 작용하며, 두 방법을 조합하면 개별적으로 사용할 때보다 더 높은 정확도를 달성한다.
• ViT-L 백본을 ViT-S로 교체하면 이미지당 추론 시간이 약 1.3초로 단축되며(비디오 객체 검출기 CNOS 포함), 실시간 응용에 적합하다.
• 정확한 세그먼테이션 마스크가 제공될 경우 FoundPose는 MegaPose의 AR 점수와 6–19점 이내로 근접하지만, 15배 빠른 속도를 보이며 강력한 정확도-효율성 트레이드오프를 보여준다.