[논문 리뷰] Estimating 6D Pose From Localizing Designated Surface Keypoints

Zelin Zhao, Peng Gao외 4명|arXiv (Cornell University)|2018. 12. 04.

Robotics and Sensor-Based Localization참고 문헌 29인용 수 24

한 줄 요약

이 논문은 히트맵 기반 키포인트 검출기와 PnP 알고리즘을 활용하여 RGB 이미지에서 3D 표면 키포인트를 국소화하고 6자리 물체 자세를 복구하는 새로운 RGB 전용 6D 물체 자세 추정 방법을 제안한다. 후처리 보정 없이도 최신 기술 수준의 정확도를 달성하며, 비보정 방법 대비 ADD 정확도를 30% 향상시키고, 신뢰도 높은 키포인트 선택을 통해 부분적 가림에 대한 강건성을 입증한다.

ABSTRACT

In this paper, we present an accurate yet effective solution for 6D pose estimation from an RGB image. The core of our approach is that we first designate a set of surface points on target object model as keypoints and then train a keypoint detector (KPD) to localize them. Finally a PnP algorithm can recover the 6D pose according to the 2D-3D relationship of keypoints. Different from recent state-of-the-art CNN-based approaches that rely on a time-consuming post-processing procedure, our method can achieve competitive accuracy without any refinement after pose prediction. Meanwhile, we obtain a 30% relative improvement in terms of ADD accuracy among methods without using refinement. Moreover, we succeed in handling heavy occlusion by selecting the most confident keypoints to recover the 6D pose. For the sake of reproducibility, we will make our code and models publicly available soon.

연구 동기 및 목표

• 깊이 센서나 후처리 보정 단계에 의존하지 않는 빠르고 정확한 6D 자세 추정 방법을 개발하는 것.
• 신뢰도 높은 키포인트 예측을 활용하여 부분적 가림에 대한 강건성을 향상시키는 것.
• 시점 예측이나 경계 상자 모서리 점을 사용하는 것보다 표면 키포인트 국소화가 더 효과적임을 입증하는 것.
• 3D SIFT 점에 기반한 키포인트 검출기를 훈련시켜 RGB 이미지에서 6D 자세를 엔드 투 엔드로 학습하는 것.

제안 방법

• 3D SIFT를 사용하여 물체 모델의 3D 표면 키포인트를 지정하여 기능 표현을 향상시킨다.
• RGB 이미지에서 물체를 국소화하기 위해 YOLOv3 객체 검출기를 훈련시킨다.
• 히트맵 기반 키포인트 검출기(KPD)를 활용하여 검출된 물체에서 2D 키포인트 좌표를 회귀한다.
• 2D-3D 키포인트 대응 관계에서 PnP 알고리즘을 사용하여 6D 자세를 계산한다.
• 신뢰도 기반 선택 전략을 적용하여 가장 신뢰도가 높은 상위-k개의 키포인트만 사용함으로써 가림 상황에서도 강건성을 향상시킨다.
• 엔드 투 엔드 훈련을 통해 네트워크가 입력 이미지에 보이지 않는 뒷면 키포인트도 정확하게 추론할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 깊이 데이터나 보정 단계에 의존하지 않고도 6D 자세 추정을 동시에 빠르고 정확하게 수행할 수 있는가?
• RQ2 표면 키포인트를 국소화하는 것이 경계 상자 모서리 점이나 예측된 시점을 사용하는 것보다 더 높은 정확도를 제공하는가?
• RQ3 신뢰도가 높은 키포인트만 선택함으로써 키포인트 기반 접근 방식이 무거운 가림 상황에서도 높은 정확도를 유지할 수 있는가?
• RQ4 CNN이 단일 RGB 이미지에서 보이지 않는 뒷면 키포인트를 예측하는 것이 가능한가?

주요 결과

• LineMod 데이터셋에서 비보정 최신 기술 수준 방법 대비 이 방법은 ADD 정확도를 상대적으로 30% 향상시켰다.
• 2D 투영 정확도 측면에서 최고의 비보정 방법 [27]을 초월하였으며, 보정 기반 방법과 경쟁 가능한 성능을 달성했다.
• 후처리 단계를 제거함으로써 보정 기반 방법보다 훨씬 빠른 성능을 보였다.
• 상위 10개의 가장 신뢰도 높은 키포인트만 선택할 경우 50개의 모든 예측 키포인트를 사용하는 것보다 더 높은 자세 정확도를 달성하여, 신뢰도 필터링의 효과를 입증했다.
• 엔드 투 엔드 훈련 덕분에 입력 이미지에 보이지 않는 뒷면 키포인트도 높은 정확도로 정확히 추론할 수 있었다.
• 경계 상자 모서리와 중심점보다 3D SIFT 표면 점을 키포인트로 사용할 경우 훨씬 뛰어난 성능을 보였으며, 이는 기능이 풍부한 키포인트 선택의 이점을 확인시켰다.