[논문 리뷰] GPV-Pose: Category-level Object Pose Estimation via Geometry-guided Point-wise Voting

Di Yan, Ruida Zhang외 5명|arXiv (Cornell University)|2022. 03. 15.

Robot Manipulation and Learning인용 수 7

한 줄 요약

GPV-Pose는 기하학적 가이드를 통한 카테고리 수준의 6자유도 물체 자세 추정 프레임워크를 제안하며, 신뢰도 인식 회전 예측과 새로운 포인트 수준의 경계상자 투표 메커니즘을 활용하여 특징 학습을 향상시킨다. 포인트 클라우드, 자세, 경계상자 간의 기하학적 일致성을 강제함으로써 공개 벤치마크에서 20 FPS로 최신 기술 수준의 성능을 달성한다.

ABSTRACT

While 6D object pose estimation has recently made a huge leap forward, most methods can still only handle a single or a handful of different objects, which limits their applications. To circumvent this problem, category-level object pose estimation has recently been revamped, which aims at predicting the 6D pose as well as the 3D metric size for previously unseen instances from a given set of object classes. This is, however, a much more challenging task due to severe intra-class shape variations. To address this issue, we propose GPV-Pose, a novel framework for robust category-level pose estimation, harnessing geometric insights to enhance the learning of category-level pose-sensitive features. First, we introduce a decoupled confidence-driven rotation representation, which allows geometry-aware recovery of the associated rotation matrix. Second, we propose a novel geometry-guided point-wise voting paradigm for robust retrieval of the 3D object bounding box. Finally, leveraging these different output streams, we can enforce several geometric consistency terms, further increasing performance, especially for non-symmetric categories. GPV-Pose produces superior results to state-of-the-art competitors on common public benchmarks, whilst almost achieving real-time inference speed at 20 FPS.

연구 동기 및 목표

• 기존에 보지 못한 인스턴스에 대해 알려진 물체 클래스에서 자세와 스케일을 예측해야 하는 카테고리 수준의 6자유도 물체 자세 추정 문제를 해결한다.
• CAD 모델에 의존하는 기존 방법들이 내부 클래스 형태 변형에 취약한 점을 극복한다.
• 포인트 클라우드, 물체 자세, 3차원 경계상자 간의 기하학적 관계를 명시적으로 모델링하여 특징 학습을 향상시킨다.
• 고정밀도를 유지하면서도 실시간 추론(20 FPS)을 가능하게 하여 AR/VR 및 로봇 공학 애플리케이션에 적합한 성능을 확보한다.

제안 방법

• 회전 행렬을 평면 법선으로 분해함으로써 폐쇄형 복원이 가능하고 기하학적 인식이 향상되는 분리된 신뢰도 기반의 회전 표현을 도입한다.
• 모든 포인트로부터의 방향, 거리, 신뢰도 예측을 통합하여 3차원 경계상자를 강력하게 추정하는 기하학적 가이드 포인트 수준의 투표(GPV) 메커니즘을 제안한다.
• 포인트 클라우드-자세(PP) 및 포인트 클라우드-경계상자-자세(PBP)의 두 기하학적 일致성 스트림을 도입하여 기하학적 대응 관계를 이용해 네트워크를 감독한다.
• 예측된 자세가 포인트 클라우드 및 투표된 경계상자와 일치하도록 손실 함수를 통해 기하학적 일치성을 강제함으로써 일반화 성능을 향상시킨다.
• 3D 그래프 컨볼루션 인코더를 백본으로 사용하고, 직접 자세 회귀, 대칭 인식 재구성, 경계상자 투표를 위한 세 개의 병렬 브랜치를 구성한다.
• 노이즈가 많거나 흐린 예측에 대해 강건성을 확보하기 위해 포인트 수준의 투표 출력에서 최종 평면 파라미터를 신뢰도 가중 최소 제곱법으로 계산한다.

실험 결과

연구 질문

• RQ1 내부 클래스 형태 변형에 대해 강건한 성능을 내기 위해 기하학적 사전 지식을 카테고리 수준의 6자유도 물체 자세 추정에 효과적으로 통합할 수 있는가?
• RQ2 특정 클래스에 맞춘 신뢰도 인식 회전 예측은 비대칭 또는 도전적인 물체 카테고리에서 자세 추정 정확도를 향상시킬 수 있는가?
• RQ3 종료형 회귀 대비 포인트 수준의 경계상자 투표가 3차원 상자 추정 정확도에 얼마나 기여하는가?
• RQ4 PP 및 PBP 스트림에서 유도된 기하학적 일치성 항목이 카테고리 수준 자세 추정의 전체 성능 향상에 기여하는 정도는 어떠한가?
• RQ5 통합 프레임워크는 REAL275 및 CAMERA25와 같은 표준 벤치마크에서 높은 정확도와 실시간 추론 속도(예: 20 FPS)를 동시에 달성할 수 있는가?

주요 결과

• GPV-Pose는 REAL275 및 CAMERA25 벤치마크에서 최신 기술 수준의 성능을 달성하였으며, 75% 임계값에서 3D IoU가 63.2%이고, 5°2cm 오차 임계값에서 29.9%이다.
• 절단 실험을 통해 기하학적 일치성 손실(예: $π^{BB}_{(R)}, π^{BB}_{(t)}$)을 추가함으로써 $3D_{75}$에서 성능이 60.4%에서 63.2%로 향상됨을 확인하였으며, 이는 그 효과를 입증한다.
• 신뢰도 인식 회전 예측을 통합함으로써 $3D_{75}$에서 성능이 52.0%에서 56.9%로 향상되었으며, 이는 클래스별 신뢰도 가중치의 유용성을 강조한다.
• 포인트 수준의 투표 메커니즘은 정확하고 확신 있는 평면 예측을 생성하였으며, 시각화 결과에서 목표 평면 근처에서는 높은 신뢰도, 멀리 떨어진 곳에서는 낮은 신뢰도를 보였다.
• YOLO-V3 + ATSA를 사용한 인스턴스 검출기와 함께 전체 파이프라인은 약 20 FPS로 실행되어 실시간 응용에 적합하다.
• 인스턴스 수준 자세 추정에서 GPV-Pose는 ADD(-S) 지표에서 98.2%의 정확도를 달성하였으며, DualPoseNet 및 PVN3D와 같은 최신 기술 수준의 방법들과 비교해도 유사한 성능을 유지하면서도 실시간 속도를 확보하였다.