[논문 리뷰] 6D Object Pose Estimation without PnP

Jin Liu, Sheng He|arXiv (Cornell University)|2019. 02. 05.

Robotics and Sensor-Based Localization참고 문헌 22인용 수 6

한 줄 요약

이 논문은 훈련 중에 3D 경계 상자 모서리의 2D 투영을 회귀하기 위해 공선성 방정식 레이어를 도입함으로써 PnP 알고리즘을 우회하는 엔드 투 엔드 6D 객체 자세 추정 방법을 제안한다. 이는 추론 시 직접 6D 자세 예측을 가능하게 한다. 이 방법은 GTX 1080Ti에서 18 ms/인퍼런스의 실시간 성능을 달성하며, LineMod 데이터셋에서 1.67 cm 이하의 변위 오차와 2.5° 이하의 회전 오차를 기록하여 최신 기술들보다 정확도와 효율성 면에서 뛰어나다.

ABSTRACT

In this paper, we propose an efficient end-to-end algorithm to tackle the problem of estimating the 6D pose of objects from a single RGB image. Our system trains a fully convolutional network to regress the 3D rotation and the 3D translation in region layer. On this basis, a special layer, Collinear Equation Layer, is added next to region layer to output the 2D projections of the 3D bounding boxs corners. In the back propagation stage, the 6D pose network are adjusted according to the error of the 2D projections. In the detection phase, we directly output the position and pose through the region layer. Besides, we introduce a novel and concise representation of 3D rotation to make the regression more precise and easier. Experiments show that our method outperforms base-line and state of the art methods both at accuracy and efficiency. In the LineMod dataset, our algorithm achieves less than 18 ms/object on a GeForce GTX 1080Ti GPU, while the translational error and rotational error are less than 1.67 cm and 2.5 degree.

연구 동기 및 목표

• 6D 객체 자세 추정에서 PnP 알고리즘의 계산 오버헤드와 오차 전파 문제를 제거하기 위해.
• 단일 RGB 이미지에서 엔드 투 엔드 딥 러닝 프레임워크를 사용해 실시간 정확한 6D 자세 예측을 가능하게 하기 위해.
• 새로운 3D 회전 표현과 미분 가능한 공선성 제약 레이어를 도입하여 회귀 안정성과 정확도를 향상시키기 위해.
• 후처리 보정이나 깊이 센서 없이도 고정밀 6D 자세 추정을 달성하기 위해.
• YOLOv2를 수정하여 직접 6D 자세 예측을 수행하면서도 높은 추론 속도를 유지하기 위해.

제안 방법

• 완전 컨volution 네트워크가 영역 레이어에서 3D 변위(tu, tv, tw)와 3D 회전(a, b, c) 매개변수를 직접 회귀하도록 훈련된다.
• 3D 경계 상자 모서리의 2D 투영을 예측하기 위해 새로운 공선성 방정식 레이어가 도입되며, 이는 공선성 제약 조건을 통해 기하학적 일관성을 강제한다.
• 역전파 과정에서 2D 모서리 투영 오차를 사용하여 네트워크를 업데이트함으로써, PnP 없이도 엔드 투 엔드 훈련이 가능해진다.
• 추론 과정에서는 공선성 방정식 레이어를 제거하고, 영역 레이어에서 직접 6D 자세를 출력함으로써 PnP 계산을 피한다.
• 회귀를 단순화하고 수렴성 및 정확도를 향상시키기 위해 새로운 3D 회전 표현이 제안된다.
• 6D 자세와 2D 모서리 투영에 대한 지도 학습을 통해 RGB 이미지에서 동시에 최적화가 가능하도록 네트워크를 훈련시킨다.

실험 결과

연구 질문

• RQ1 PnP 알고리즘에 의존하지 않고 6D 객체 자세 추정을 수행할 수 있는가? 이는 추론 속도 향상과 오차 전파 감소에 기여할 수 있다.
• RQ2 3D 상자 모서리의 공선성과 같은 기하학적 제약 조건을 미분 가능한 레이어로 통합하여 회귀 정확도를 향상시킬 수 있는가?
• RQ3 새로운 3D 회전 표현이 엔드 투 엔드 6D 자세 회귀의 안정성과 정밀도를 향상시킬 수 있는가?
• RQ4 단일 RGB 이미지에서 직접 6D 자세 예측이 BB8와 같은 다단계 방법보다 속도와 정확도 면에서 뛰어나게 되는가?
• RQ5 제안된 방법이 다양한 객체 카테고리에 일반화되어 소비자 수준의 GPU에서 실시간 성능을 달성할 수 있는가?

주요 결과

• VOC3D 데이터셋에서 평균 2D 투영 오차는 0.928 픽셀이며, GTX 1080Ti에서 55 FPS로 추론된다.
• LineMod 데이터셋에서 변위 오차는 1.67 cm 이하, 회전 오차는 2.5도 이하이다.
• 평균 추론 시간은 객체당 17 ms이며, BB8(130 ms)와 SSD-6D(20 ms)보다 빠르게 성능을 뛰어넘는다.
• 모든 평가 대상 객체에서 2D 투영 오차와 6D 자세 정확도 면에서 BB8와 SS6D를 모두 능가한다.
• 공선성 방정식 레이어의 사용은 독립적인 2D 모서리 회귀보다 더 나은 일반화 성능과 낮은 오차 분산을 제공한다.
• 후처리 보정 없이도 높은 정확도를 달성하여 강건성과 엔드 투 엔드 최적화의 우수성을 입증한다.