[논문 리뷰] Real-Time Seamless Single Shot 6D Object Pose Prediction

Bugra Tekin, Sudipta N. Sinha외 1명|arXiv (Cornell University)|2017. 11. 24.

Advanced Neural Network Applications참고 문헌 31인용 수 15

한 줄 요약

이 논문은 실시간으로 단일 스풍경의 깊이 컨볼루션 네트워크를 제안하며, 3D 물체의 경계 상자 정점의 2D 투영을 직접 예측하여 후처리 없이 PnP를 통해 정확한 자세 추정을 가능하게 한다. 이 방법은 Titan X (Pascal) GPU에서 50–94 fps의 성능을 기록하며, 세부적인 3D 모델이나 정제 단계가 필요 없이도 이전의 CNN 기반 접근법보다 빠르고 정확하다.

ABSTRACT

We propose a single-shot approach for simultaneously detecting an object in an RGB image and predicting its 6D pose without requiring multiple stages or having to examine multiple hypotheses. Unlike a recently proposed single-shot technique for this task (Kehl et al., ICCV'17) that only predicts an approximate 6D pose that must then be refined, ours is accurate enough not to require additional post-processing. As a result, it is much faster - 50 fps on a Titan X (Pascal) GPU - and more suitable for real-time processing. The key component of our method is a new CNN architecture inspired by the YOLO network design that directly predicts the 2D image locations of the projected vertices of the object's 3D bounding box. The object's 6D pose is then estimated using a PnP algorithm. For single object and multiple object pose estimation on the LINEMOD and OCCLUSION datasets, our approach substantially outperforms other recent CNN-based approaches when they are all used without post-processing. During post-processing, a pose refinement step can be used to boost the accuracy of the existing methods, but at 10 fps or less, they are much slower than our method.

연구 동기 및 목표

• 모바일 및 웨어러블 장치에서 RGB 이미지만을 사용하여 실시간 6D 물체 자세 추정의 필요성을 해결한다.
• 약한 무늬 또는 저해상도 물체에서 관건 기반 방법의 한계를 극복한다.
• CNN 기반 6D 자세 추정에서 다단계 파이프라인 또는 후처리 정제 단계가 필요 없도록 한다.
• 물체 수 증가에 따라 런타임이 선형적으로 증가하지 않는 방식으로 다중 물체 검출에 대한 확장 가능한 실시간 성능을 제공한다.
• 세부적인 텍스처가 있는 3D 물체 모델에 대한 의존도를 줄이기 위해 훈련에 3D 경계 상자만을 사용한다.

제안 방법

• YOLO에 영감을 받은 단일 스풍경 CNN 아키텍처를 제안하여 3D 물체 경계 상자의 정점에 대한 2D 이미지 좌표를 회귀한다.
• 3D 경계 상자 애너테이션만을 사용하여 네트워크를 엔드 투 엔드로 훈련하여 물체 검출과 6D 자세 예측을 동시에 수행한다.
• 예측된 3D 상자 모서리의 2D 투영에서 효율적인 PnP 알고리즘을 사용해 6D 자세를 계산한다.
• 다양한 해상도의 추론을 지원하기 위해 훈련 중에 랜덤 입력 해상도를 사용한 다중 해상도 훈련을 적용한다.
• 다른 시퀀스의 물체 코어를 사용해 훈련 데이터를 증강하여, 특히 가림 상태에서의 일반화 능력을 향상시킨다.
• 정밀한 정제 단계를 피하기 위해 높은 내재 정확도를 확보함으로써 세부적인 텍스처가 있는 3D 모델이 필요 없도록 한다.

실험 결과

연구 질문

• RQ1 단일 스풍경 CNN이 후처리 정제가 필요 없을 정도로 충분히 정확한 6D 물체 자세를 예측할 수 있는가?
• RQ2 기존의 다단계 또는 정제 기반 접근법과 비교해 표준 벤치마크에서 이 방법의 속도와 정확도는 어떻게 되는가?
• RQ3 물체 수 증가에 따라 이 방법은 얼마나 스케일링 가능한가? 런타임 증가가 심각하게 발생하는가?
• RQ4 세부적인 3D 모델에 의존하지 않고도 약한 무늬나 가림 상태의 물체를 어떻게 처리하는가?
• RQ5 실시간 배포에서 입력 해상도, 정확도, 추론 속도 간의 상호 상충 관계는 어떠한가?

주요 결과

• LineMod 데이터셋에서 688×688 입력 해상도로 43 fps에서 90.65%의 자세 추정 정확도(2D 투영 오차 기반)를 달성한다.
• 544×544 해상도에서 Titan X (Pascal) GPU에서 50 fps의 추론 속도로 90.37%의 정확도를 기록한다.
• 가림 상태 데이터셋에서 mAP(평균 정밀도)가 0.48로, 후처리 없이도 이전의 방법들인 [8], [11], [2]를 능가한다.
• 다중 물체 검출 시 런타임이 거의 일정하게 유지되며, SSD-6D와 달리 물체 수 증가에 따라 선형적으로 증가하지 않아 스케일링 시 훨씬 빠르다.
• 416×416 해상도에서 94 fps로 실행되며, 높은 해상도 대비 정확도가 단 1% 감소하여 효율성-정확도의 우수한 트레이드오프를 보여준다.
• 세부적인 자세 정제나 세부적인 텍스처가 있는 3D 모델이 필요 없이도 LineMod에서 최신 기술 수준의 정확도를 달성한다. 훈련에 3D 경계 상자만을 사용한다.