[논문 리뷰] Category-Level Articulated Object Pose Estimation

Xiaolong Li, He Wang외 4명|arXiv (Cornell University)|2019. 12. 26.

Human Pose and Action Recognition참고 문헌 29인용 수 7

한 줄 요약

이 논문은 새로운 Articulation-aware Normalized Coordinate Space Hierarchy (ANCSH)를 사용하여 미리 보지 않은 인스턴스로의 일반화를 가능하게 하는 카테고리 수준의 관절 구조 물체 자세 추정 프레임워크를 제안한다. 이 방법은 PointNet++ 기반의 네트워크를 사용하여 ANCSH 내에서 표준화된 부분 및 관절 속성을 예측한 후, 자세와 관절 제약 조건을 최적화하여 학습에 실제 데이터를 사용하지 않았음에도 불구하고 실제 벤치마크에서 최신 기술 수준의 정확도를 달성한다.

ABSTRACT

This project addresses the task of category-level pose estimation for articulated objects from a single depth image. We present a novel category-level approach that correctly accommodates object instances previously unseen during training. We introduce Articulation-aware Normalized Coordinate Space Hierarchy (ANCSH) - a canonical representation for different articulated objects in a given category. As the key to achieve intra-category generalization, the representation constructs a canonical object space as well as a set of canonical part spaces. The canonical object space normalizes the object orientation,scales and articulations (e.g. joint parameters and states) while each canonical part space further normalizes its part pose and scale. We develop a deep network based on PointNet++ that predicts ANCSH from a single depth point cloud, including part segmentation, normalized coordinates, and joint parameters in the canonical object space. By leveraging the canonicalized joints, we demonstrate: 1) improved performance in part pose and scale estimations using the induced kinematic constraints from joints; 2) high accuracy for joint parameter estimation in camera space.

연구 동기 및 목표

• 단일 깊이 영상에서 관절 구조 물체의 카테고리 수준 자세 추정을 가능하게 하여 훈련 중에 보지 않은 신규 인스턴스로의 일반화를 달성한다.
• 부분 기하학, 관절 파라미터, 관절 상태, 자기 음영 등의 카테고리 내 큰 변동성을 다루는 데 도전한다.
• 결합 운동학 제약 조건을 복합적으로 모델링하여 자세 추정 정확도를 향상시킨다.
• 표준화된 표현을 활용하여 카메라 공간에서의 관절 파라미터 예측 정확도를 높인다.
• 학습된 표준화된 좌표 공간을 사용하여 부분 자세와 관절 제약 조건을 동시에 최적화하는 통합 프레임워크를 개발한다.

제안 방법

• 관절 구조에 민감한 표준화된 좌표 공간 계층 구조(ANCSH)를 제안한다. 이는 두 수준의 표준화된 공간으로 구성되며, 전반적인 물체 정규화를 위한 표준화된 관절 물체 좌표 공간(NAOCS)과 각 부분의 정규화를 위한 표준화된 부분 좌표 공간(NPCSs)이다.
• PointNet++ 기반의 딥 네트워크를 사용하여 부분 분할, ANCSH 내의 정규화된 좌표, 표준화된 공간 내의 관절 파라미터를 예측한다.
• 관절 유형(결합 또는 프리즘형)에 기반한 운동학 제약 조건을 모델링하고, 자세 피팅을 위한 복합 최적화 문제에 정규화 조건으로 통합한다.
• 표준화된 공간(NAOCS)에서의 관절 파라미터 예측을 카메라 공간으로 변환하여 실세계 설정에서의 정확도를 향상시킨다.
• NAOCS 표현을 활용하여 심한 음영 조건에서 크기의 모호성을 줄여 신뢰할 수 있는 관절 상태 및 파라미터 추정을 가능하게 한다.
• 부분 자세 피팅 오차와 관절 제약 위반을 동시에 최소화하는 복합 최적화 프레임워크를 구현한다.

실험 결과

연구 질문

• RQ1 공유된 표준화된 표현은 훈련 중에 보지 않은 인스턴스로의 카테고리 수준의 일반화를 가능하게 할 수 있는가?
• RQ2 결합 및 프리즘형 관절에서 유도되는 운동학 제약 조건은 어떻게 효과적으로 모델링하고 자세 추정 정확도 향상에 활용할 수 있는가?
• RQ3 표준화된 공간에서의 관절 파라미터 예측은 직접 예측보다 카메라 공간에서 더 높은 정확도를 달성할 수 있는가?
• RQ4 ANCSH 표현은 신규 인스턴스에서의 음영과 형태 변화에 대해 얼마나 민감도를 감소시키는가?
• RQ5 고차원의 관절 자세 공간에서 부분 자세 피팅과 관절 제약 정규화를 병합하는 것이 독립적인 부분 예측보다 우수한 성능을 내는가?

주요 결과

• 제안된 ANCSH 표현은 테스트 시 CAD 모델이 필요 없이도 이전에 보지 않은 관절 구조 물체 인스턴스에 대해 정확한 카테고리 수준의 자세 추정을 가능하게 한다.
• 관절 제약 정규화를 복합 최적화를 통해 적용함으로써 부분 자세 및 크기 추정 정확도가 향상되며, 특히 복잡한 구성에서 뚜렷한 개선 효과를 보인다.
• 실제 깊이 시퀀스에서 랩탑에 대해 96.25%의 AD 정확도, 캐비닛에 대해 92.3%, 컵보드에 대해 96.9%, 장난감 기차에 대해 79.8%의 정확도를 달성한다.
• 도전적인 랩탑 카테고리에서, 1번 시퀀스에서는 부분에 대해 각각 97.5%와 94.7%의 AD 정확도를 기록했고, 2번 시퀀스에서는 각각 98.9%와 99.0%를 달성하여 이전 최신 기술 수준의 방법을 초월한다.
• 훈련에 실제 데이터를 사용하지 않았음에도 불구하고, 이론적 성능은 또는 이전 최신 기술 수준의 성능을 뛰어나며, 특히 음영 조건에서의 관절 파라미터 및 상태 추정에서 뛰어난 성능을 보인다.
• 심한 음영 조건에서도 NAOCS 표현은 부분 크기 및 상자 예측이 정확하지 않더라도 신뢰할 수 있는 관절 상태 및 파라미터 추정을 유지한다.