[논문 리뷰] Self-Supervised Geometric Correspondence for Category-Level 6D Object Pose Estimation in the Wild

Kaifeng Zhang, Yang Fu외 4명|arXiv (Cornell University)|2022. 10. 13.

Robotics and Sensor-Based Localization인용 수 8

한 줄 요약

이 논문은 인간이 레이블링한 또는 시뮬레이션된 6자리 자세 레이블이 필요 없이 실제 환경(인간이 존재하는 환경) 이미지에서 카테고리 수준의 6자리 물체 자세 추정을 위한 자기지도 학습 프레임워크를 제안한다. 밀도 있는 2D-3D 기하학적 대응 관계를 학습하기 위해 Categorical Surface Embedding(CSE)을 도입하고, 2D-3D 공간, 다른 인스턴스, 시간 단계 간에 새로운 사이클 일致성 손실을 적용하여 Wild6D와 REAL275에서 최고 성능을 달성한다.

ABSTRACT

While 6D object pose estimation has wide applications across computer vision and robotics, it remains far from being solved due to the lack of annotations. The problem becomes even more challenging when moving to category-level 6D pose, which requires generalization to unseen instances. Current approaches are restricted by leveraging annotations from simulation or collected from humans. In this paper, we overcome this barrier by introducing a self-supervised learning approach trained directly on large-scale real-world object videos for category-level 6D pose estimation in the wild. Our framework reconstructs the canonical 3D shape of an object category and learns dense correspondences between input images and the canonical shape via surface embedding. For training, we propose novel geometrical cycle-consistency losses which construct cycles across 2D-3D spaces, across different instances and different time steps. The learned correspondence can be applied for 6D pose estimation and other downstream tasks such as keypoint transfer. Surprisingly, our method, without any human annotations or simulators, can achieve on-par or even better performance than previous supervised or semi-supervised methods on in-the-wild images. Our project page is: https://kywind.github.io/self-pose .

연구 동기 및 목표

• 3D 레이블이 부족하거나 가용하지 않은 실제 환경에서 카테고리 수준의 6자리 물체 자세 추정 문제를 해결한다.
• 실제 환경의 대규모 레이블 없는 영상으로 직접 훈련하여 시뮬레이션과 실제 환경 간의 도메인 갭을 극복한다. 이는 합성 데이터나 인간 레이블에 의존하지 않는다.
• 어떤 지도 학습도 필요 없이, 표준 3D 모델 전후에 밀도 있는 2D-3D 기하학적 대응 관계를 학습한다.
• 2D 및 3D 공간, 다른 물체 인스턴스, 시간 순서 간에 기하학적 일관성을 강제하는 새로운 사이클 일치성 손실을 개발한다.
• 자기지도 표현 학습을 통해 미리 보지 않은 물체 인스턴스와 실제 환경 조건에서도 제로샷 일반화를 가능하게 한다.

제안 방법

• 각 물체 카테고리에 대해 표준 3D 메쉬 표면에 정의된 학습 가능한 특징 필드인 Categorical Surface Embedding(CSE)을 도입한다.
• 시각 트랜스포머 인코더를 사용해 이미지 특징을 추출하고, CSE와의 유사도를 계산하여 밀도 있는 2D-3D 기하학적 대응 관계를 수립한다.
• 2D-3D 사이클 일치성 손실을 제안: 2D 픽셀을 대응 관계를 통해 3D 정점으로 매핑한 후, 강체 변환을 사용해 다시 2D로 투영한다. 재구성된 2D 위치는 원래 위치와 일치해야 한다.
• 크로스 인스턴스 사이클 일치성 도입: 한 인스턴스의 2D 픽셀을 3D로 매핑한 후, 표준 공간에서 다른 인스턴스로 이동하고, 다시 2D로 투영한다. DINO 특징을 사용해 서로 다른 인스턴스 간의 대응 관계를 검증한다.
• 크로스 타임 사이클 일치성 도입: 연속된 영상 프레임에서 같은 물체를 서로 다른 인스턴스로 간주하여, 대응 관계 학습에 시간적 일관성을 강제한다.
• 다중 작업 손실을 사용해 훈련: RGB, 깊이, 세그멘테이션에 대한 복원 손실에 더해 제안된 사이클 일치성 손실과 깊이 감독 손실을 통합한다.

실험 결과

연구 질문

• RQ1 6자리 자세 레이블이 전혀 없는 자기지도 학습 방법이 카테고리 수준의 6자리 물체 자세 추정을 위해 정확한 2D-3D 기하학적 대응 관계를 학습할 수 있는가?
• RQ2 2D-3D 공간, 다른 인스턴스, 시간 단계 간의 사이클 일치성 손실이 대응 관계 학습과 자세 추정 정확도 향상에 얼마나 효과적인가?
• RQ3 오직 레이블 없는 실제 환경 영상으로만 훈련된 모델이 감독 학습 또는 준감독 학습 기반 모델 대비 실제 환경, 제약 없는 환경에서 얼마나 잘 일반화되는가?
• RQ4 제안된 Categorical Surface Embedding(CSE) 표현이 구조화된 3D 특징 인코딩 없이 직접 2D-3D 매핑을 수행하는 것보다 성능이 뛰어나다고 할 수 있는가?
• RQ5 깊이 감독과 다중 수준의 사이클 일치성 손실 통합이 형태와 외관 변화에 대한 강건성을 어떻게 향상시키는가?

주요 결과

• 제안된 자기지도 학습 방법은 Wild6D 벤치마크에서 합성 또는 인간 레이블링된 6자리 자세 데이터에 의존하는 감독 및 준감독 방법을 능가하거나 동등하게 성능을 달성한다.
• Wild6D에서 전체 모델은 IOU 0.25 기준 92.3% mAP, IOU 0.5 기준 68.2% mAP, 5° 5cm 기준 35.3% mAP를 기록하며, 핵심 구성 요소를 제거한 아블레이션 대비 뚜렷한 성능 향상을 보였다.
• 아블레이션 연구 결과, 크로스 인스턴스 및 크로스 타임 사이클 일치성 손실을 제거하면 IOU 0.5 기준 mAP가 5.2% 감소하여, 이 손실이 의미 있는 대응 관계 학습에 핵심적인 역할을 한다는 것을 입증한다.
• 크로스 인스턴스 및 크로스 타임 사이클 일치성 손실을 모두 추가하면 랩탑 카테고리에서 5° 5cm 기준 mAP가 5.8% 향상되고, CUB 데이터셋에서는 30.6% 향상되어 강력한 일반화 성능 향상을 입증한다.
• 깊이 손실은 깊이 민감한 카테고리에 매우 중요하다: 이를 제거하면 IOU 0.5 기준 mAP가 15.6% 감소하여, 이는 잘못된 정렬을 줄이는 데 깊이 손실이 핵심적인 역할을 한다는 것을 시사한다.
• CSE 표현은 필수적이다: 표면 임bedding 없이 아블레이션한 경우, IOU 0.5 기준 mAP는 68.2%에서 57.1%로 감소하여, 구조화된 3D 특징 인코딩이 성능 향상에 핵심적임을 보여준다.