[논문 리뷰] CPS: Class-level 6D Pose and Shape Estimation From Monocular Images

Fabian Manhardt, Manuel Nickel외 3명|arXiv (Cornell University)|2020. 03. 12.

Robot Manipulation and Learning참고 문헌 44인용 수 14

한 줄 요약

이 논문은 단일 단일화면 이미지에서 클래스 수준의 6자리 자세 및 메트릭 형태 추정을 위한 새로운 딥러닝 접근법을 제안한다. 통합된 점군 손실을 통해 3D 자세, 이동, 스케일, 형태를 동시에 최적화하며, 단일화면의 모호성에도 불구하고 메트릭 3D 점군을 직접 회귀하고 최적화함으로써 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Contemporary monocular 6D pose estimation methods can only cope with a handful of object instances. This naturally limits possible applications as, for instance, robots need to work with hundreds of different objects in a real environment. In this paper, we propose the first deep learning approach for class-wise monocular 6D pose estimation, coupled with metric shape retrieval. We propose a new loss formulation which directly optimizes over all parameters, i.e. 3D orientation, translation, scale and shape at the same time. Instead of decoupling each parameter, we transform the regressed shape, in the form of a point cloud, to 3D and directly measure its metric misalignment. We experimentally demonstrate that we can retrieve precise metric point clouds from a single image, which can also be further processed for e.g. subsequent rendering. Moreover, we show that our new 3D point cloud loss outperforms all baselines and gives overall good results despite the inherent ambiguity due to monocular data.

연구 동기 및 목표

• 기존의 단일화면 6자리 자세 추정 방법이 몇몇 객체 인스턴스에 국한되어 있어 실제 로봇 응용에 제약을 가진다는 한계를 해결한다.
• 단일 이미지에서 정확한 클래스 수준의 6자리 자세 및 메트릭 형태 추정을 가능하게 하여 수백 개의 객체 카테고리 지원을 달성한다.
• 단일화면 데이터의 본질적 모호성을 극복하기 위해 3D 자세, 이동, 스케일, 형태 파rameter를 동시에 최적화한다.
• 재구성된 3D 점군의 메트릭 불일치를 직접 최적화하는 통합된 손실 함수를 개발한다.
• 예측된 메트릭 점군이 渲染 또는 3D 재구성과 같은 후속 작업에 효과적으로 활용될 수 있음을 입증한다.

제안 방법

• 6D 자세, 이동, 스케일, 형태 파rameter를 동시에 최적화할 수 있는 새로운 손실 공식을 제안한다.
• 예측된 형태를 점군으로 표현하고, 이를 3D 공간으로 변환하여 진짜 값과의 메트릭 불일치를 직접 측정한다.
• 딥 네트워크를 사용해 단일 단일화면 이미지에서 6D 자세 및 형태 파rameter를 회귀한다.
• 기하학적 정확도를 직접 최적화할 수 있도록 점군 손실을 학습 파이프라인에 통합한다.
• 다양한 렌더링 또는 변환 레이어를 활용해 예측된 형태가 미분 가능하고 3D 메트릭 재구성과 호환되도록 보장한다.
• 6D 자세 및 형태 애너테이션을 포함한 이미지 데이터셋을 사용해 모델을 훈련함으로써 다양한 객체 클래스 간 일반화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 딥러닝 모델이 다양한 객체 카테고리에 걸쳐 단일 단일화면 이미지에서 6자리 자세 및 메트릭 형태를 동시에 추정할 수 있는가?
• RQ2 3D 점군 불일치를 직접 최적화하는 통합된 손실 함수가 분리 또는 간접 지도 전략보다 우월한가?
• RQ3 단일화면 이미지의 깊이 모호성에도 불구하고 모델이 얼마나 정확한 메트릭 3D 형태를 복원할 수 있는가?
• RQ4 예측된 메트릭 점군이 렌더링 또는 3D 재구성과 같은 후속 작업에 효과적으로 활용될 수 있는가?
• RQ5 기존 베이스라인 대비 6자리 자세 및 형태 추정 정확도 측면에서 제안된 방법은 어떻게 비교되는가?

주요 결과

• 제안된 방법은 벤치마크 데이터셋에서 6자리 자세 및 형태 추정 분야에서 최신 기술 수준의 성능을 달성하며, 모든 이전 베이스라인을 능가한다.
• 메트릭 점군 불일치를 직접 최적화함으로써 간접적 또는 분리된 지도 전략보다 더 정확한 3D 형태 재구성을 가능하게 한다.
• 모델은 동일한 클래스에 속하지만 훈련에 포함되지 않은 객체 카테고리에 대해서도 성공적으로 일반화되어 클래스 수준의 일반화 능력을 입증한다.
• 예측된 메트릭 점군은 3D 렌더링 및 기하학적 추론과 같은 후속 응용에 충분히 정확하다.
• 단일화면 이미지의 본질적 깊이 모호성에도 불구하고, 자세와 형태를 동시에 최적화함으로써 높은 성능을 유지한다.
• 제거 분석 결과, 기하학적 정확도 향상 측면에서 제안된 점군 손실이 다른 손실 공식보다 더 효과적임을 확인했다.