[논문 리뷰] 6-PACK: Category-level 6D Pose Tracker with Anchor-Based Keypoints

Chen Wang, Roberto Martín-Martín외 6명|arXiv (Cornell University)|2019. 10. 23.

Robotics and Sensor-Based Localization참고 문헌 45인용 수 12

한 줄 요약

6-PACK은 RGB-D 영상에서 카테고리 수준의 6자유도 물체 자세 추적을 위한 비지도, 앵커 기반 키포인트 검출 네트워크를 제안한다. 이는 사전에 알려진 3D 모델이 없이도 새로운 인스턴스를 실시간으로 강건하게 추적할 수 있도록 한다. NOCS-REAL275 벤치마크에서 최신 기술을 초월하여 5°5cm 지표에서 15% 이상 향상된 성능을 달성하였으며, 10Hz에서 실시간 로봇 조작 작업을 가능하게 한다.

ABSTRACT

We present 6-PACK, a deep learning approach to category-level 6D object pose tracking on RGB-D data. Our method tracks in real-time novel object instances of known object categories such as bowls, laptops, and mugs. 6-PACK learns to compactly represent an object by a handful of 3D keypoints, based on which the interframe motion of an object instance can be estimated through keypoint matching. These keypoints are learned end-to-end without manual supervision in order to be most effective for tracking. Our experiments show that our method substantially outperforms existing methods on the NOCS category-level 6D pose estimation benchmark and supports a physical robot to perform simple vision-based closed-loop manipulation tasks. Our code and video are available at https://sites.google.com/view/6packtracking.

연구 동기 및 목표

• 기존의 3D 모델이 없는 상태에서 알려진 카테고리 내의 새로운 물체 인스턴스를 추적하는 문제에 대응한다.
• 잡음, 가림, 시각적 변형 등에 강건하고 효율적인 6자유도 자세 추적을 위해 압축되고 특징이 뚜렷한 3D 키포인트를 학습한다.
• RGB-D 데이터를 사용하여 물리적 로봇에 적용 가능한 실시간 성능(10Hz)을 달성한다.
• 검출 기반 추적의 한계를 극복하기 위해 키포인트 기반 자세 추정을 통해 시간적 일관성을 활용한다.

제안 방법

• 이전에 추정된 물체 자세 주변에 3D 키포인트 제안을 생성하기 위해 앵커 기반 메커니즘을 도입하며, 이는 2D 물체 검출에서의 영역 제안과 유사하다.
• 깊이 신경망을 비지도 방식으로 학습하여, 추적에 있어 압축되고 특징이 뚜렷한 소수의 3D 키포인트를 검출한다.
• 연속 프레임 간의 키포인트 매칭을 통해 최소 제곱 최적화를 이용해 상대 6자유도 자세 변화를 추정한다.
• 시간에 따라 상대 자세 변화를 누적하여 절대 6자유도 자세를 추정함으로써 직접 회귀를 피하고 안정성을 향상시킨다.
• 시간적 일관성을 활용하여 장기적인 시퀀스에서의 드리프트를 줄이고 강건성을 향상시킨다.
• RGB-D 입력을 사용하여 3D 키포인트 위치를 회귀하고 기하학적 제약 조건을 이용해 프레임 간에 매칭한다.

실험 결과

연구 질문

• RQ1 비지도 키포인트 검출 네트워크는 동일 카테고리의 새로운 인스턴스에 일반화 가능한 압축되고 강건한 3D 랜드마크를 학습할 수 있는가?
• RQ2 픽셀 수준 또는 조밀한 키포인트 회귀 대비 앵커 기반 키포인트 생성이 추적의 강건성과 효율성 향상에 기여하는가?
• RQ3 상대 자세 변화를 누적하는 키포인트 기반 추적기가 카테고리 수준 추적에서 검출 기반 6자유도 자세 추정보다 우수한 성능을 보이는가?
• RQ4 특히 초도 자세 확보 이후에도 장기간에 걸쳐 높은 정확도와 안정성을 유지할 수 있는가?
• RQ5 이 방법은 물리적 로봇에 실시간으로 구현되어 닫힌 루프 조작 작업을 가능하게 하는가?

주요 결과

• 6-PACK은 8개의 키포인트를 사용하여 랩탑 카테고리에서 5°5cm 지표에서 62.4%의 정확도를 달성하였으며, 4개 키포인트(55.2%) 및 16개 키포인트(48.6%) 버전보다 우수하여 정보와 부담 간 최적의 균형을 이룬다.
• NOCS-REAL275 벤치마크에서 2위 메서드인 NOCS보다 5°5cm 지표에서 15.1%p, IoU25 지표에서 12.0%p 향상되어 최신 기술을 초월한다.
• 추적기의 안정성이 매우 높으며, 평가 시퀀스 전반에서 IoU25 >94%를 유지하여 추적 실패가 극히 적다. 반면 KeypointNet은 50.3%의 시도에서 실패한다.
• 성능 저하가 서서히 발생하며, 100프레임 이후에도 6-PACK은 NOCS보다 10%p 이상 높은 정확도를 유지하여 뛰어난 시간적 강건성을 입증한다.
• GTX1070 GPU에서 10Hz로 실행되며 GPU 메모리 사용량이 2GB 미만이므로, Toyota HSR 로봇에 실시간 배포가 가능하다.
• 실제 로봇 시험에서 6-PACK은 60% 이상의 시도에서 물체를 성공적으로 추적하였으며, 자세 추적 피드백만으로도 주방용 기구 따르기, 던지기 등의 비전 기반 조작 작업을 수행할 수 있었다.