[논문 리뷰] Gen6D: Generalizable Model-Free 6-DoF Object Pose Estimation from RGB Images

Yuan Liu, Yilin Wen외 5명|arXiv (Cornell University)|2022. 04. 22.

Advanced Neural Network Applications인용 수 5

한 줄 요약

Gen6D는 3D 모델, 깊이 또는 마스크 없이도 RGB 이미지에서 정확한 자세를 예측할 수 있는 일반화 가능한 모델리스 6-DoF 물체 자세 추정기이다. 테스트 시에 3D 모델, 깊이 또는 마스크가 필요로 하지 않으며, 복잡한 배경과 희소한 뷰를 가진 새로운 물체에 대해서도 효과적으로 작동한다. 이는 전역 정규화와 자기어텐션을 사용한 새로운 픽셀 단위의 뷰포인트 선택기와 볼륨 기반 자세 보정기를 결합하여 달성되었으며, 모델리스 벤치마크에서 최신 기술 수준(SOTA)의 성능을 기록하였다.

ABSTRACT

In this paper, we present a generalizable model-free 6-DoF object pose estimator called Gen6D. Existing generalizable pose estimators either need high-quality object models or require additional depth maps or object masks in test time, which significantly limits their application scope. In contrast, our pose estimator only requires some posed images of the unseen object and is able to accurately predict the poses of the object in arbitrary environments. Gen6D consists of an object detector, a viewpoint selector and a pose refiner, all of which do not require the 3D object model and can generalize to unseen objects. Experiments show that Gen6D achieves state-of-the-art results on two model-free datasets: the MOPED dataset and a new GenMOP dataset collected by us. In addition, on the LINEMOD dataset, Gen6D achieves competitive results compared with instance-specific pose estimators. Project page: https://liuyuan-pal.github.io/Gen6D/.

연구 동기 및 목표

• 테스트 시에 3D 모델, 깊이 맵 또는 물체 마스크가 필요 없이도 새로운 물체에 대해 일반화 가능한 6-DoF 물체 자세 추정기를 개발하는 것.
• 모델리스 자세 추정에서 복잡한 배경과 희소한 기준 뷰를 가진 상황에서 정확한 시점 선택을 해결하는 것.
• 3D 기하학적 정보나 개별 인스턴스에 특화된 트레이닝 없이도 효과적으로 일반화되는 자세 보정기를 설계하는 것.
• 실제 응용에서 RGB 이미지와 몇 개의 기준 자세만 제공되는 환경에서 자세 추정의 실용적 구현을 가능하게 하는 것.

제안 방법

• 쿼리 이미지와 각 기준 이미지를 비교하기 위해 픽셀 단위의 이미지 매칭 메커니즘을 사용하여 각 픽셀의 유사도 점수를 계산하며, 물체 영역에 집중하고 배경 간섭을 줄인다.
• 시점 선택기 내에 전역 정규화와 자기어텐션 레이어를 도입하여 기준 이미지 간의 컨텍스트 공유를 가능하게 하여, 모호한 뷰포인트 상황에서 선택 정확도를 향상시킨다.
• 볼륨 기반 자세 보정기는 기하학적 렌더링을 사용하여 이미지 재구성 오차를 최소화함으로써 초기 자세를 정밀하게 보정하며, 3D 모델 없이도 엔드 투 엔드 최적화가 가능하다.
• 프레임워크는 물체 검출기, 시점 선택기, 자세 보정기를 통합하여 단일한 엔드 투 엔드 방식으로 훈련되며, 이는 모든 모듈이 통합적으로 학습됨을 의미한다.
• 추론 시에 깊이, 마스크 또는 3D 물체 모델에 의존하지 않고 RGB 이미지와 기준 자세 이미지만을 사용한다.
• 다양한 데이터로 훈련하여 일반화 가능한 이미지 매칭 패tern을 학습함으로써, 새로운 물체에 대해 제로샷 일반화가 가능해진다.

실험 결과

연구 질문

• RQ1 테스트 시에 3D 모델, 깊이 맵 또는 물체 마스크가 필요 없이도 6-DoF 자세 추정기가 새로운 물체에 대해 일반화 가능한가?
• RQ2 모델리스 설정에서 복잡한 배경과 희소한 기준 뷰를 가진 상황에서 시점 선택은 어떻게 향상시킬 수 있는가?
• RQ3 제로샷 일반화 상황에서 렌더링-비교 기반 기준 모델 대비 볼륨 기반 자세 보정기가 얼마나 높은 성능 향상을 보이는가?
• RQ4 시점 선택기 내에 전역 정규화와 자기어텐션을 통합함으로써 배경 혼잡과 뷰포인트의 불확실성에 대한 견고성이 어떻게 향상되는가?
• RQ5 훈련 데이터의 다양성이 자세 추정기의 일반화 능력에 어떤 영향을 미치는가?

주요 결과

• Gen6D는 MOPED 및 GenMOP 데이터셋에서 모델리스 벤치마크에서 최신 기술 수준(SOTA)의 성능을 기록하였으며, 깊이 및 마스크가 필요한 Latent-Fusion 및 PVNet 등의 모델리스 기준 모델을 초월하였다.
• MOPED 데이터셋에서 Gen6D는 동일한 입력 제약 조건 하에 평균 ADD-AUC가 17.90%를 기록하였으며, ObjDesc [69] (8.55%) 및 Latent-Fusion (14.88%)를 크게 앞서나갔다.
• GenMOP 데이터셋에서 전역 정규화와 기준 뷰 트랜스포머를 포함한 전체 시점 선택기의 성능은 이러한 구성 요소가 없는 기본 모델 대비 ADD-AUC가 9.4점 향상되었다.
• 볼륨 기반 자세 보정기는 동일한 선택기와 함께 사용했을 때 평균 Prj-5 점수가 77.54%를 기록하여, DeepIM 보정기(42.16%)를 능가하며 훨씬 뛰어난 일반화 능력을 보였다.
• 단 한 번의 보정 단계만으로도 볼륨 기반 보정기는 Chair 물체에서 50.50%의 Prj-5 점수를 기록하였으며, DeepIM 보정기의 12.50%를 크게 앞서나갔다.
• Gen6D는 2080Ti GPU에서 540×960 이미지를 약 0.64초 내에 처리하며, 세 단계의 보정을 위해 약 0.5초가 소요되므로 실용적인 추론 속도를 확보하고 있다.