[논문 리뷰] SAR-Net: Shape Alignment and Recovery Network for Category-level 6D Object Pose and Size Estimation

Haitao Lin, Zichang Liu외 4명|arXiv (Cornell University)|2021. 06. 27.

Robotics and Sensor-Based Localization인용 수 5

한 줄 요약

SAR-Net는 실세계에서 레이블이 부여된 훈련 데이터 없이 RGB-D 이미지와 카테고리 수준의 감독만을 사용하여 경량이며 기하학적 원리를 기반으로 한 카테고리 수준의 6자리 물체 자세 및 크기 추정 방법을 제안한다. 이는 카테고리 수준의 템플릿 점군의 변형을 통한 형상 정렬을 통해 암묵적으로 3차원 회전을 표현하고, 엔드 투 엔드로 학습된 점군 복원을 통한 대칭적 대응 관계를 활용하여 거친 3차원 형상을 복원한다. 이로써 NOCS 벤치마크에서 최신 기술 수준의 성능을 달성하였으며, Baxter 로봇에서 성공적인 로봇 집게 작업을 가능하게 한다.

ABSTRACT

Given a single scene image, this paper proposes a method of Category-level 6D Object Pose and Size Estimation (COPSE) from the point cloud of the target object, without external real pose-annotated training data. Specifically, beyond the visual cues in RGB images, we rely on the shape information predominately from the depth (D) channel. The key idea is to explore the shape alignment of each instance against its corresponding category-level template shape, and the symmetric correspondence of each object category for estimating a coarse 3D object shape. Our framework deforms the point cloud of the category-level template shape to align the observed instance point cloud for implicitly representing its 3D rotation. Then we model the symmetric correspondence by predicting symmetric point cloud from the partially observed point cloud. The concatenation of the observed point cloud and symmetric one reconstructs a coarse object shape, thus facilitating object center (3D translation) and 3D size estimation. Extensive experiments on the category-level NOCS benchmark demonstrate that our lightweight model still competes with state-of-the-art approaches that require labeled real-world images. We also deploy our approach to a physical Baxter robot to perform grasping tasks on unseen but category-known instances, and the results further validate the efficacy of our proposed model. Code and pre-trained models are available on the project webpage.

연구 동기 및 목표

• 합성 이미지와 실세계 이미지 간의 도메인 갭 및 클래스 내 변동성 문제를 해결하기 위해.
• 개별 인스턴스의 3D CAD 모델에 대한 의존도를 줄이기 위해 카테고리 수준의 감독만을 허용하기 위해.
• 깊이 기반의 형상 정보와 기하학적 사전 지식(형상 정렬 및 대칭성)을 활용하여 강력한 3차원 자세 및 크기 추정을 수행하기 위해.
• 실세계 자세 레이블이 부여된 데이터 없이도 실용적인 로봇 조작 작업에 적용 가능하게 하기 위해.

제안 방법

• 관측된 인스턴스 점군과 일치시키기 위해 카테고리 수준의 템플릿 점군을 변형함으로써 형상 정렬을 달성하며, 이는 정규직교 프로크루스테스 문제를 통해 3차원 회전을 암묵적으로 표현한다.
• 부분적으로 관측된 인스턴스에서 대칭적인 점군을 예측하는 인코더-디코더 네트워크를 통해 대칭적 대응 관계를 모델링한다. 이는 거친 형상 복원을 촉진한다.
• 관측된 점군과 예측된 대칭 점군을 연결하여 완전한 거친 3차원 형상을 복원함으로써 물체 중심 및 크기 추정 성능을 향상시킨다.
• 실세계 자세 레이블이 부여된 이미지가 필요 없도록, 카테고리 수준의 감독를 사용하여 합성 데이터를 기반으로 엔드 투 엔드로 훈련한다.
• 제거 분석 결과, 템플릿 점군에 36개의 점이 최적의 표현 능력과 성능 간의 균형을 이룹니다.
• 표현 방식으로서의 형상 정렬은 쿼aternion, SVD, R6d와 같은 전통적인 방법보다 우수하며, 특히 엄격한 기준(예: $5^\circ$2cm)에서 성능이 뛰어나다.

실험 결과

연구 질문

• RQ1 카테고리 수준의 템플릿 정렬이 클래스 내 변동성 하에서 3차원 회전 추정 성능을 향상시킬 수 있는가?
• RQ2 부분 관측에서 유도된 대칭적 대응 관계가 더 나은 자세 및 크기 추정을 위한 거친 형상 복원에 기여하는가?
• RQ3 실세계 훈련 데이터 없이 기하학적 원리를 기반으로 한 방법이 카테고리 수준의 6자리 자세 추정에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ4 제안된 방법이 실세계 로봇 조작 작업에 어떻게 일반화되는가?

주요 결과

• SAR-Net는 카테고리 수준의 6자리 물체 자세 및 크기 추정에서 NOCS 벤치마크에서 최신 기술 수준의 성능을 달성하였으며, 엄격한 $5^\circ$2cm 기준에서 평균 정밀도(mAP)는 80.4%이고 정확도는 49.1%를 기록하였다.
• 로봇 집게 작업에서 DualPose 및 SPD와 같은 강력한 베이스라인을 초월하여, 3개 카테고리에 속한 12개의 새로운 인스턴스에서 88.3%의 성공률을 달성하였다.
• 핸오버 작업에서는 80%의 성공률을 기록하여 DualPose(73.3%)와 SPD(66.7%)를 뛰어넘었으며, 이는 강력한 3차원 회전 추정 능력을 입증한다.
• 倒수 작업에서는 73.3%의 성공률을 기록하여 DualPose(60.0%)와 SPD(53.3%)를 능가하였으며, 이는 동적 로봇 작업에서의 실용성을 입증한다.
• 제거 분석 결과, 형상 정렬을 회전 표현 방식으로 사용할 경우 쿼aternion, SVD, R6d보다 더 우수한 일반화 성능을 보이며, 특히 엄격한 자세 정확도 기준 하에서 뚜렷한 우월성이 있다.
• 카테고리 수준의 템플릿에서 점의 최적 수는 36개이며, 16개는 너무 흐린 반면 128개는 탐색 공간을 증가시켜 성능 저하를 초래한다.