[논문 리뷰] Shape Prior Deformation for Categorical 6D Object Pose and Size Estimation

Meng Tian, Marcelo H. Ang외 1명|arXiv (Cornell University)|2020. 07. 16.

Human Pose and Action Recognition참고 문헌 41인용 수 7

한 줄 요약

이 논문은 학습된 카테고리별 형태 사전을 통한 변형을 명시적으로 모델링하여 RGB-D 이미지에서 카테고리 수준의 6자리 객체 자세 및 크기 추정을 위한 딥러닝 방법을 제안한다. 이 방법은 잠재 공간에서 카테고리별 형태 사전을 학습하기 위해 변동형 오토인코더를 사용하며, 예측된 변형 장치를 통해 완전한 3D 객체 모델을 재구성하고, 정밀한 자세 및 크기 추정을 가능하게 하는 밀도 있는 2D-3D 대응 관계를 추정한다. 이로 인해 합성 및 실세계 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We present a novel learning approach to recover the 6D poses and sizes of unseen object instances from an RGB-D image. To handle the intra-class shape variation, we propose a deep network to reconstruct the 3D object model by explicitly modeling the deformation from a pre-learned categorical shape prior. Additionally, our network infers the dense correspondences between the depth observation of the object instance and the reconstructed 3D model to jointly estimate the 6D object pose and size. We design an autoencoder that trains on a collection of object models and compute the mean latent embedding for each category to learn the categorical shape priors. Extensive experiments on both synthetic and real-world datasets demonstrate that our approach significantly outperforms the state of the art. Our code is available at https://github.com/mentian/object-deformnet.

연구 동기 및 목표

• 3D 모델이 제공되지 않은 새로운 객체 인스턴스에 대해 카테고리 내에서 6자리 객체 자세와 크기를 추정하는 문제를 해결하기 위해.
• NOCS 좌표의 직접 회귀에 의존하는 것보다는, 내부 클래스 형태 변동을 명시적으로 모델링하기 위해.
• 객체 모델의 집합에서 카테고리 형태 사전을 학습하여 다양한 객체 인스턴스 간의 일반화를 향상시키기 위해.
• 통합된 딥 네트워크 아키텍처를 통해 밀도 있는 대응 관계와 6자리 자세를 동시에 추정하기 위해.

제안 방법

• 각 카테고리에 대해 3D 객체 모델의 집합을 기반으로 변동형 오토인코더를 훈련시어 각 카테고리의 잠재 임bedding을 학습한다.
• 각 카테고리의 평균 잠재 임베딩을 계산하고 복원하여 카테고리 형태 사전을 형성하며, 공통된 기하학적 특성을 나타낸다.
• 딥 네트워크가 형태 사전에서 변형 장치를 예측하여 주어진 인스턴스의 완전한 3D 객체 모델을 재구성한다.
• 관측된 깊이 포인트 클라우드와 재구성된 3D 모델 간에 밀도 있는 2D-3D 대응 관계를 예측한다.
• Umeyama 알고리즘을 사용하여 추정된 대응 관계에서 6자리 자세와 메트릭 크기를 계산한다.
• 훈련의 안정성과 일반화를 향상시키기 위해 변형 및 대응 예측에 정규화 손실을 적용한다.

실험 결과

연구 질문

• RQ1 카테고리 형태 사전에서의 변형을 명시적으로 모델링하면, 새로운 객체 인스턴스에 대한 6자리 자세 및 크기 추정 성능을 향상시킬 수 있는가?
• RQ2 오토인코더의 잠재 공간에서 형태 사전을 학습하는 것이 카테고리 수준의 6자리 자세 추정 성능에 어떤 영향을 미치는가?
• RQ3 형태 재구성과 대응 예측을 분리하는 것이 NOCS 좌표의 직접 회귀보다 성능을 높이는가?
• RQ4 형태 사전의 선택(예: 평균 임베딩 vs. 최근접 이웃 vs. 무작위 샘플링)에 대한 변동에 대해 이 방법은 얼마나 강인한가?
• RQ5 변형과 대응에 대한 정규화 손실이 전체 성능에 기여하는 정도는 어떠한가?

주요 결과

• 제안된 방법은 합성 벤치마크인 CAMERA25에서 93.2 mAP를 달성하여 베이스라인 방법을 초월한다.
• 더 도전적인 REAL275 실세계 데이터셋에서는 77.3 mAP를 기록하여 실세계 노이즈와 변동성에 대한 강력한 일반화 능력을 보여준다.
• NOCS 좌표의 직접 회귀("Regression" 베이스라인)는 5°2cm 임계값에서 CAMERA25에서 -3.1%, REAL275에서 -5.6%로 상당히 낮은 mAP를 기록하여 명시적 형태 재구성의 이점이 확인된다.
• 정규화 손실을 제거하면 REAL275에서 5.9%의 mAP 하락이 발생하여 실세계 환경에서의 강인성에 정규화 손실이 중요한 역할을 한다는 것을 보여준다.
• 형태 사전 생성 방식(예: 평균 임베딩, 최근접 이웃, 무작위 샘플링)에 관계없이 방법이 안정적으로 유지되며, 학습된 임베딩 사전이 가장 우수한 성능을 낸다.
• 합성 데이터에 비해 실세계 데이터에서 형태 재구성 품질이 떨어지므로 관측 노이즈는 향후 연구 과제로 남아 있다.