[논문 리뷰] Generative Category-Level Shape and Pose Estimation with Semantic Primitives

Guanglin Li, Yifeng Li외 5명|arXiv (Cornell University)|2022. 10. 03.

Human Pose and Action Recognition인용 수 10

한 줄 요약

이 논문은 내부 카테고리 형상 변동을 모델링하기 위해 의미적 원소를 사용하고, 형태와 자세 최적화를 분리하기 위해 새로운 SIM(3)-불변 기술자를 도입한 생성형 카테고리 수준의 형상 및 자세 추정 프레임워크를 제안한다. 임의의 자세에서 잠재 형상을 반복적으로 개선함으로써, 이 방법은 실세계 벤치마크에서 최신 기술 수준의 성능을 달성한다. 심지어 합성 데이터만으로 훈련된 경우에도 마찬가지다.

ABSTRACT

Empowering autonomous agents with 3D understanding for daily objects is a grand challenge in robotics applications. When exploring in an unknown environment, existing methods for object pose estimation are still not satisfactory due to the diversity of object shapes. In this paper, we propose a novel framework for category-level object shape and pose estimation from a single RGB-D image. To handle the intra-category variation, we adopt a semantic primitive representation that encodes diverse shapes into a unified latent space, which is the key to establish reliable correspondences between observed point clouds and estimated shapes. Then, by using a SIM(3)-invariant shape descriptor, we gracefully decouple the shape and pose of an object, thus supporting latent shape optimization of target objects in arbitrary poses. Extensive experiments show that the proposed method achieves SOTA pose estimation performance and better generalization in the real-world dataset. Code and video are available at https://zju3dv.github.io/gCasp.

연구 동기 및 목표

• 카테고리 수준의 3D 객체 자세 추정에서 큰 내부 카테고리 형상 변동을 다루는 데에 도전한다.
• 형태와 자세 추정을 분리하여 더 높은 견고성과 최적화의 유연성을 향상시킨다.
• 새로운 기하 기술자를 사용해 임의의 자세에서 온라인으로 반복적인 형상 최적화를 가능하게 한다.
• 실세계 데이터에 대해 강력한 일반화 성능를 달성하기 위해 실세계 데이터를 사용하지 않고도 합성 데이터만으로 훈련할 수 있도록 한다.

제안 방법

• 동일한 잠재 공간 내에서 다양한 형상을 통합하기 위해 의미적 원소(예: 실린더형 몸체, 손잡이 형태의 부품 등)를 사용하여 객체 형상을 표현한다.
• 공통 잠재 코드를 공유하는 두 개의 오토디코더를 갖는 생성 모델을 사용한다: 하나는 세부 정보를 위한 것이고, 다른 하나는 의미적 원소를 위한 것이다.
• 의미적 원소의 기하 분포에서 유도된 SIM(3)-불변 형상 기술자를 도입하여 형태와 자세를 분리한다.
• 기본 기술자를 사용해 관측된 포인트 클라우드와 생성된 포인트 클라우드 간의 카운터 디스턴스를 최소화함으로써 온라인 잠재 형상 최적화를 수행한다.
• 최적화된 형상의 의미적 원소와 관측된 원소를 대응시키는 알고리즘을 통해 최종 객체 자세를 복구한다.
• 포인트 클라우드의 부품에 의미적 레이블을 할당하기 위해 파트 세그멘테이션 네트워크를 활용하여 원소 기반 대응을 가능하게 한다.

실험 결과

연구 질문

• RQ1 의미적 원소는 카테고리 내 다양한 형상을 통합하여 카테고리 수준의 형상 추정에 효과적으로 기여할 수 있는가?
• RQ2 SIM(3)-불변 기술자는 임의의 자세에서 형태와 자세 최적화를 신뢰성 있게 분리할 수 있는가?
• RQ3 단일 패assing 예측 대비 반복적인 잠재 형상 최적화가 자세 추정 정확도를 향상시키는가?
• RQ4 합성 데이터만으로 훈련된 경우에도 방법이 실세계 데이터에 일반화될 수 있는가?

주요 결과

• 제안된 방법은 실세계 벤치마크 REAL275에서 최신 기술 수준의 카테고리 수준 자세 추정 성능를 달성한다.
• REAL275에서의 형상 복원 오차는 카운터 디스턴스 기준 3.46×10⁻³으로 감소하였으며, 평균 형상의 경우 SGPA(2.44×10⁻³)를 능가한다.
• 최적화된 형상을 사용할 경우 자세 추정 정확도가 크게 향상되며, 예를 들어 REAL275에서 mAP 88.4%를 기록한다. 이는 평균 또는 무작위 형상 대비 성능 향상이다.
• 의미적 원소의 수를 64개에서 256개로 늘일수록 자세 정확도가 향상되며, 256개에서 최고 성능에 도달한 후 512개에서 세그멘테이션 노이즈로 인해 감소한다.
• 형상 기술자에 10⁶개의 원자 기술자를 사용할 경우 복원 오차가 최소화되며(랜덤 RANSAC 기준 3.44×10⁻³), 기술자 선택에 대해 뛰어난 내구성을 보여준다.
• 실세계 데이터에 대해 잘 일반화되며, 실세계 미세조정 없이도 최신 기술 수준의 결과를 달성함으로써 강력한 제로샷 일반화 성능를 입증한다.