[논문 리뷰] Learning Canonical Shape Space for Category-Level 6D Object Pose and Size Estimation

Dengsheng Chen, Jun Li외 2명|arXiv (Cornell University)|2020. 01. 25.

3D Shape Modeling and Analysis참고 문헌 26인용 수 9

한 줄 요약

이 논문은 다양한 3D 형상을 학습한 변분 자동차오더(VAE)를 통해 정준 형상 공간(CASS)을 학습함으로써, CAD 모델이 필요 없는 카테고리 수준의 6자리 객체 자세 및 크기 추정을 위한 대응관계가 없는 접근법을 제안한다. 이 방법은 RGBD 이미지를 CASS 내의 시점 분리형, 자세에 영향을 받지 않는 형상 표현으로 임bedding하고, 자세에 의존하는 특징과의 대조적 매칭을 통해 자세를 추정하며, 보편적인 기준 데이터셋에서 최신 기술을 초월하는 정확도를 달성한다.

ABSTRACT

We present a novel approach to category-level 6D object pose and size estimation. To tackle intra-class shape variations, we learn canonical shape space (CASS), a unified representation for a large variety of instances of a certain object category. In particular, CASS is modeled as the latent space of a deep generative model of canonical 3D shapes with normalized pose. We train a variational auto-encoder (VAE) for generating 3D point clouds in the canonical space from an RGBD image. The VAE is trained in a cross-category fashion, exploiting the publicly available large 3D shape repositories. Since the 3D point cloud is generated in normalized pose (with actual size), the encoder of the VAE learns view-factorized RGBD embedding. It maps an RGBD image in arbitrary view into a pose-independent 3D shape representation. Object pose is then estimated via contrasting it with a pose-dependent feature of the input RGBD extracted with a separate deep neural networks. We integrate the learning of CASS and pose and size estimation into an end-to-end trainable network, achieving the state-of-the-art performance.

연구 동기 및 목표

• 사용자가 미리 알 수 없는 인스턴스에 대해 CAD 모델이 제공되지 않는 카테고리 수준의 6자리 객체 자세 추정에서 내부 클래스 형상 변동성을 다루는 데 도전한다.
• 카테고리 내 다양한 형상 변동을 포괄하는 통합적이고 일반화 가능한 형상 표현을 개발한다.
• 밀도 높은 대응관계나 정답 CAD 모델에 의존하지 않고 단일 시점 RGBD 이미지에서 정확한 6자리 자세 및 크기 추정을 가능하게 한다.
• 정규화된 크기의 3D 형상 재구성을 통해 자세와 크기 추정을 분리함으로써 학습 복잡도를 감소시킨다.
• 정준 형상 공간 학습과 자세/크기 추정을 함께 최적화할 수 있는 엔드 투 엔드 학습 가능한 프레임워크를 설계한다.

제안 방법

• 다양한 카테고리의 대규모 3D 형상 데이터셋을 기반으로 VAE를 학습하여, 정규화된 자세와 메트릭 크기를 갖춘 잠재 정준 형상 공간(CASS)을 학습한다.
• VAE 인코더를 개선하여 RGBD 이미지와 3D 형상을 동시에 입력으로 받도록 하여, 실제 RGBD-형상 쌍 데이터가 부족한 상황에서도 상용 3D 레포지토리에서 학습이 가능하도록 한다.
• 입력 이미지를 임의의 시점에서 CASS 잠재 공간으로 매핑함으로써, 시점 분리형, 자세에 영향을 받지 않는 RGBD 임베딩을 학습한다.
• 별도의 딥 네트워크를 사용해 입력 RGBD에서 자세에 의존하는 특징을 추출하고, CASS 임베딩과의 대조적 비교를 수행한다.
• 가중치 공유와 배치 혼합을 통해 자세에 영향을 받지 않는(CASS) 특징와 자세에 의존하는 특징 간의 분포 매칭을 구현함으로써 학습 안정성을 향상시킨다.
• CASS 학습, 형상 재구성, 자세/크기 추정을 하나의 엔드 투 엔드 미분 가능한 네트워크로 통합하여 공동 최적화를 수행한다.

실험 결과

연구 질문

• RQ1 학습된 정준 형상 공간이 카테고리 수준의 6자리 객체 자세 추정에서 내부 클래스 형상 변동을 효과적으로 표현할 수 있는가?
• RQ2 크기 변동이 심한 상황에서 자세에 영향을 받지 않는 특징와 자세에 의존하는 특징 간의 대조적 매칭이 밀도 기반 대응 기반 방법보다 우수한가?
• RQ3 VAE 기반 접근법이 단일 시점 RGBD 이미지에서 메트릭 크기의 3D 형상 재구성과 6자리 자세 추정을 동시에 학습할 수 있는가?
• RQ4 자세에 영향을 받지 않는 특징와 자세에 의존하는 특징 간의 분포 매칭이 학습 안정성과 정확도 향상에 얼마나 효과적인가?
• RQ5 CAD 모델이 없는 경우, 제안된 방법이 새로운 객체 인스턴스에 얼마나 잘 일반화되는가?

주요 결과

• 전체 방법은 84.2% mAP, 77.7% IoU@25, 23.5% (5°/5cm), 58.3% (10°/10cm)의 성능을 기록하며, 카테고리 수준 자세 추정 기준 데이터셋에서 기존 최고 기술을 능가한다.
• 절단 실험 결과 CASS 학습이 가장 핵심적인 요소임을 확인하였으며, 특히 5°/5cm 및 10°/10cm 성능 지표에서 제거 시 성능 저하가 심각하게 나타났다.
• 배치 혼합과 분포 매칭은 학습 안정성 향상과 특징 정렬 개선에 필수적이며, 이를 제거할 경우 정확도가著명하게 떨어졌다.
• VAE를 자동차오더(AE)로 대체하면 일반화 능력이 떨어지며, 이는 VAE의 인도크티브 바이어스가 더 견고하고 다양한 CASS 공간을 형성하는 데 기여함을 시사한다.
• 메트릭 크기의 전체 3D 포인트 클라우드를 재구성함으로써 정밀한 크기 추정이 가능하며, 음영과 배경 혼잡성 조건에서도 로봇 그립핑을 지원한다.
• 정성적 결과는 특히 음영 조건에서 NOCS 대비 크기 추정 및 형상 재구성 성능이 뛰어남을 보여준다.