[논문 리뷰] GDRNPP: A Geometry-guided and Fully Learning-based Object Pose Estimator

Liu, Xingyu, Zhang, Ruida외 5명|arXiv (Cornell University)|2021. 02. 24.

Robot Manipulation and Learning참고 문헌 65인용 수 14

한 줄 요약

GDR-Net는 학습된 2D-3D 대응 관계와 새로운 Patch-PnPs 모듈을 사용하여 단일 RGB 이미지에서 직접 자세를 회귀하는 기하학적 지도를 받는 엔드 투 엔드 미분 가능한 6자유도 물체 자세 추정기이다. 이는 실시간 추론을 유지하면서도 LM, LM-O, YCB-V 벤치마크에서 최신 기술 수준의 정확도를 달성하며, 직접 회귀 및 간접 PnPs/RANSAC 기반 방법을 모두 능가한다.

ABSTRACT

6D pose estimation of rigid objects is a long-standing and challenging task in computer vision. Recently, the emergence of deep learning reveals the potential of Convolutional Neural Networks (CNNs) to predict reliable 6D poses. Given that direct pose regression networks currently exhibit suboptimal performance, most methods still resort to traditional techniques to varying degrees. For example, top-performing methods often adopt an indirect strategy by first establishing 2D-3D or 3D-3D correspondences followed by applying the RANSAC-based PnP or Kabsch algorithms, and further employing ICP for refinement. Despite the performance enhancement, the integration of traditional techniques makes the networks time-consuming and not end-to-end trainable. Orthogonal to them, this paper introduces a fully learning-based object pose estimator. In this work, we first perform an in-depth investigation of both direct and indirect methods and propose a simple yet effective Geometry-guided Direct Regression Network (GDRN) to learn the 6D pose from monocular images in an end-to-end manner. Afterwards, we introduce a geometry-guided pose refinement module, enhancing pose accuracy when extra depth data is available. Guided by the predicted coordinate map, we build an end-to-end differentiable architecture that establishes robust and accurate 3D-3D correspondences between the observed and rendered RGB-D images to refine the pose. Our enhanced pose estimation pipeline GDRNPP (GDRN Plus Plus) conquered the leaderboard of the BOP Challenge for two consecutive years, becoming the first to surpass all prior methods that relied on traditional techniques in both accuracy and speed. The code and models are available at https://github.com/shanice-l/gdrnpp_bop2022.

연구 동기 및 목표

• 대응 관계 예측 이후 PnPs/RANSAC에 의존하는 두 단계로 나누어지며, 미분 불가능한 6자유도 자세 추정 파이프라인의 한계를 해결하기 위해.
• 밀도 있는 2D-3D 대응 관계로부터 기하학적 지도를 통합하여 직접 6자유도 자세 회귀의 성능을 향상시키기 위해.
• 직접 회귀와 기하학 기반 간접 방법의 장점을 하나의 엔드 투 엔드 학습 가능한 프레임워크로 통합하기 위해.
• 자기 지도 학습 및 기타 미분 가능한 시각 파이프라인에서 사용할 수 있도록, 기하학적 지도를 받는 기하학적 지도 기반의 자세 예측을 가능하게 하기 위해.

제안 방법

• 네트워크는 단일 RGB 이미지에서 특징을 추출하고 밀도 있는 2D-3D 대응 관계를 예측하기 위해 CNN을 사용한다.
• 공간적 구조를 유지하고 2D 컨볼루션 처리를 가능하게 하기 위해 2D-3D 대응 관계에서 이미지 유사한 2D 패치를 구성한다.
• 학습 가능한 Patch-PnPs 모듈을 도입하여 기하학적 특징을 포함한 2D 패치에서 직접 6자유도 자세(회전 및 이동)를 회귀한다.
• 동적 줌인(DZI)을 활용하여 검출과 자세 추정을 분리함으로써 정확도와 추론 속도를 향상시킨다.
• 전체 파이프라인이 엔드 투 엔드로 미분 가능하여 자세 회귀 모듈을 통해 역전파가 가능하다.
• 대칭 물체를 위해 대칭 자세 손실을 사용하고, 과적합 방지를 위해 훈련 중 색상 증강을 적용한다.

실험 결과

연구 질문

• RQ1 중간 기하학적 표현을 통한 지도를 받는 경우, 직접 6자유도 자세 회귀가 기하학 기반 간접 방법과 비교하여 경쟁 가능한 성능을 달성할 수 있는가?
• RQ2 PnPs 최적화 단계를 엔드 투 엔드 딥 러닝 프레임워크 내에서 미분 가능하고 학습 가능한 방식으로 만들 수 있는가?
• RQ3 2D-3D 대응 관계의 공간적 구조를 2D 컨볼루션 연산을 통해 효과적으로 활용하여 자세 추정 정확도를 향상시킬 수 있는가?
• RQ4 통합된 엔드 투 엔드 미분 가능한 아키텍처가 표준 벤치마크에서 순수 직접 회귀 및 이중 단계 간접 방법을 모두 능가하는가?
• RQ5 YCB-V 및 LM-O와 같은 도전적인 데이터셋에서 최신 기술 수준의 정확도를 달성하면서도 실시간 추론 속도를 유지할 수 있는가?

주요 결과

• GDR-Net은 실물+합성 데이터로 훈련된 경우, DeepIM과 같은 정밀도 기반 접근 방식을 포함한 이전 방법들을 능가하는 LM-O 데이터셋에서 최신 기술 수준의 성능을 달성한다.
• YCB-V 데이터셋에서 GDR-Net은 단일 네트워크당 ADD(-S)의 AUC 84.4%와 ADD-S의 AUC 91.6%를 기록하며, 정밀도 없이도 CosyPose 및 DeepIM과 같은 방법들을 능가한다.
• 단일 GPU에서 1개의 물체당 약 22ms 내외로 실행되어 실시간 추론 능력을 입증한다.
• 정밀도 없이도 GDR-Net의 단일 모델 접근 방식은 YCB-V에서 정밀도 기반 최신 기술 수준의 방법들과 경쟁 가능한 성능을 달성한다.
• 절단 실험을 통해 Patch-PnPs 모듈과 기하학적 지도가 표준 직접 회귀보다 성능 향상에 크게 기여하는 것으로 확인된다.
• 검출과 자세 추정을 분리하기 위해 동적 줌인(DZI)을 사용한 결과 정확도가 약간 감소할 뿐만 아니라, 실용적 구현에서의 효과성을 입증한다.