[논문 리뷰] iCaps: Iterative Category-level Object Pose and Shape Estimation

Xinke Deng, Junyi Geng외 3명|arXiv (Cornell University)|2021. 12. 31.

Human Pose and Action Recognition인용 수 4

한 줄 요약

iCaps는 깊이 영상 기반 오토인코더와 잠재 SDF 기반 형태 네트워크를 사용하는 Rao-Blackwellized 입자 필터를 통해 자세와 형태를 반복적으로 개선하는 범주 수준의 6차원 물체 자세 및 형태 추정 프레임워크를 제안한다. 초기화에 2차원 검출 및 분할만 필요로 하여도 자세 및 형태 추정 정확도가 높으며, 이전 방법들보다 형태 복원 품질과 효율성에서 뛰어나다.

ABSTRACT

This paper proposes a category-level 6D object pose and shape estimation approach iCaps, which allows tracking 6D poses of unseen objects in a category and estimating their 3D shapes. We develop a category-level auto-encoder network using depth images as input, where feature embeddings from the auto-encoder encode poses of objects in a category. The auto-encoder can be used in a particle filter framework to estimate and track 6D poses of objects in a category. By exploiting an implicit shape representation based on signed distance functions, we build a LatentNet to estimate a latent representation of the 3D shape given the estimated pose of an object. Then the estimated pose and shape can be used to update each other in an iterative way. Our category-level 6D object pose and shape estimation pipeline only requires 2D detection and segmentation for initialization. We evaluate our approach on a publicly available dataset and demonstrate its effectiveness. In particular, our method achieves comparably high accuracy on shape estimation.

연구 동기 및 목표

• 3D CAD 모델이 필요 없이 높은 범주 내 형태 변동성에 대응하는 범주 수준의 6차원 물체 자세 추정 과제를 해결하기 위해.
• 암묵적 형태 표현을 사용하여 반복적으로 물체 자세와 3차원 형태를 함께 추정하고 개선하기 위해.
• 깊이 영상에서의 인스턴스 독립적 자세 임베딩을 학습하여 고비용 3D CAD 사전 지식에 대한 의존도를 줄이기 위해.
• 자세와 형태 간의 시간적 일관성과 반복적 개선을 통해 정확도를 향상시키기 위해.
• 2차원 검출 및 분할만으로도 초기화가 가능한 효율적인 추론을 가능하게 하기 위해.

제안 방법

• 범주 수준의 오토인코더 네트워크가 깊이 영상을 처리하여 물체 자세를 인코딩한 인스턴스 독립적 특징 임베딩을 생성한다.
• Rao-Blackwellized 입자 필터가 이러한 임베딩을 사용하여 영상 프레임 간의 6차원 물체 자세를 추정하고 추적한다.
• LatentNet이 연속적인 거리 함수(Signed Distance Function, SDF)를 사용하여 잠재 형태 표현을 예측하여 물체 기하학을 암묵적으로 모델링한다.
• 자세와 형태는 반복적으로 개선된다: 추정된 형태가 자세 추정을 향상시키고, 향상된 자세가 형태 복원을 향상시킨다.
• 시스템은 2차원 물체 검출 및 인스턴스 분할 마스크를 사용하여 초기화되어 진짜 자세나 CAD 모델이 필요하지 않다.
• 정밀도와 속도의 균형을 맞추기 위해 주기적으로(예: 10 프레임마다) 또는 각 프레임마다 반복적으로 개선이 수행된다.

Figure 1: The proposed system takes in depth maps and segmentation masks as inputs, and jointly estimates the 6D poses, size, and shape of the unseen objects in an iterative way so that pose and shape can improve each other.

실험 결과

연구 질문

• RQ1 3D CAD 모델이나 초기화 시 진짜 자세가 필요 없이도, 범주 수준의 6차원 물체 자세 추정 시스템이 높은 정확도를 달성할 수 있는가?
• RQ2 자세 추정과 형태 추정 간의 반복적 개선이 자세 및 형태 정확도 향상에 얼마나 효과적인가?
• RQ3 암묵적 SDF 기반 형태 표현이 깊이 영상만으로도 고품질이고 효율적인 3차원 형태 복원을 가능하게 할 수 있는가?
• RQ4 정밀도 향상과 속도 간의 트레이드오프는 정밀도 빈도와 입자 수를 변화시킬 때 어떻게 달라지는가?
• RQ5 범주 수준 설정 하에서 최신 기술 대비 형태 복원 및 자세 추정 성능에서 본 방법은 어떻게 비교되는가?

주요 결과

• 제안된 방법은 정밀도 향상 없이 18.50%였고, LatentNet 없이 17.95%였던 기준선 대비 유의미하게 높은 31.59%의 5°5cm IoU를 달성하였다.
• 형태 복원의 Chamfer 거리는 CASS 및 Shape-Prior보다 한 단계 낮아, 뛰어난 형태 품질을 나타낸다.
• 병아리 클래스의 경우 LatentNet 추론 시간은 0.017초이며, DeepSDF의 5.20초 대비 높은 효율성을 보였다.
• 정밀도 향상 없이 12.22 fps, 전면 반복적 개선을 적용하면 2.26 fps로 실행되어 속도와 정확도를 효과적으로 균형 잡았다.
• 제거 실험 결과, 자세 개선과 LatentNet에 의한 형태 예측이 모두 필수적임을 확인하였으며, 둘 중 하나를 제거하면 성능이 크게 떨어졌다.
• 각 프레임마다 여러 단계의 반복적 개선이 이루어질수록 정확도가 향상되었으며, 특히 매 프레임마다 개선을 적용했을 때 성능이 최고로 높아졌다.

Figure 2: Architecture the proposed category-level pose and shape estimation framework. We first use a category-level generalization of the PoseRBPF system to estimate the 6D pose and the size of the object. An implicit shape representation (shape latent) is predicted with a deep neural network (Lat