[논문 리뷰] HybridPose: 6D Object Pose Estimation under Hybrid Representations

Chen Song, Jiaru Song외 1명|arXiv (Cornell University)|2020. 01. 07.

Robotics and Sensor-Based Localization참고 문헌 1인용 수 20

한 줄 요약

HybridPose는 6차원 물체 자세 추정을 위한 방법으로, 키포인트, 엣지 벡터, 대칭 대응을 조합한 하이브리드 중간 표현을 활용하여 가림 상황에서도 강인성을 향상시킨다. 다수의 기하 신호를 함께 회귀함으로써 강인한 최적화 모듈을 사용하여, 30fps에서 Occlusion Linemod 벤치마크에서 47.5%의 최고 성능을 달성하며, 이는 DPOD를 포함한 이전 방법들을 능가한다.

ABSTRACT

We introduce HybridPose, a novel 6D object pose estimation approach. HybridPose utilizes a hybrid intermediate representation to express different geometric information in the input image, including keypoints, edge vectors, and symmetry correspondences. Compared to a unitary representation, our hybrid representation allows pose regression to exploit more and diverse features when one type of predicted representation is inaccurate (e.g., because of occlusion). Different intermediate representations used by HybridPose can all be predicted by the same simple neural network, and outliers in predicted intermediate representations are filtered by a robust regression module. Compared to state-of-the-art pose estimation approaches, HybridPose is comparable in running time and accuracy. For example, on Occlusion Linemod dataset, our method achieves a prediction speed of 30 fps with a mean ADD(-S) accuracy of 47.5%, representing a state-of-the-art performance. The implementation of HybridPose is available at https://github.com/chensong1995/HybridPose.

연구 동기 및 목표

• 가림 상태에서 단일 표현 기반 자세 추정의 한계를 해결하기 위해.
• 키포인트, 엣지 벡터, 대칭 대응 등의 다양한 기하 신호를 통합한 통합 프레임워크를 통해 자세 정확도를 향상시키기 위해.
• 예측된 중간 표현에서 이상치를 걸러내는 학습 가능한 강인 노름을 통해 강인한 자세 회귀를 가능하게 하기 위해.
• 가림 및 도전적인 물체 인스턴스에서 최신 기술보다 성능을 향상시키면서도 실시간 추론 속도(30fps)를 유지하기 위해.

제안 방법

• HybridPose는 단일 딥 네트워크를 사용하여 2D 키포인트, 인접한 키포인트 간의 엣지 벡터, 물체 픽셀에 대한 밀도 있는 대칭 대응을 예측한다.
• 엣지 벡터는 예측된 모든 키포인트 쌍 간의 이동 벡터로 정의되며, 공간적 관계와 기울기 정보를 캡처한다.
• 대칭 대응은 픽셀 단위의 매핑으로 예측되며, 특히 반사 평면을 따라 자세 추정을 안정화시킨다.
• 두 단계 자세 회귀 모듈은 먼저 모든 중간 신호를 사용한 선형 PnP 유사 공식을 통해 자세를 초기화하고, 이후 Geman-McClure 강인 노름을 사용해 이를 정밀하게 보정한다.
• 학습 파이프라인은 중간 표현을 위한 자세 예측 헤드와 별도의 검증 세트를 사용한 자세 보정을 포함하여 효과적인 자기지도 학습을 가능하게 한다.
• 이상치 필터링은 최적화 과정에서 일致하지 않는 예측을 낮추는 가분리 가능한 강인 노름을 통해 달성된다.

실험 결과

연구 질문

• RQ1 키포인트, 엣지 벡터, 대칭 대응 등의 다수의 중간 표현을 조합함으로써, 가림 상황에서 6차원 자세 추정의 강인성을 향상시킬 수 있는가?
• RQ2 엣지 벡터와 대칭 대응의 통합은 키포인트 기반 방법을 넘어서 추가적인 기하 제약 조건을 제공하여 자세 정확도를 향상시키는가?
• RQ3 단순한 네트워크 아키텍처가 다수의 하이브리드 표현을 효과적으로 예측하면서도 실시간 추론 속도를 유지할 수 있는가?
• RQ4 중간 예측이 노이즈가 많거나 불완전할 경우, 강인 회귀 모듈이 자세 정확도를 어떻게 향상시키는가?

주요 결과

• Occlusion Linemod 벤치마크에서 HybridPose는 평균 ADD(-S) 정확도 47.5%를 달성하여, PVNet(40.8%)와 이전 최고 성능 방법인 DPOD를 초월한다.
• 모든 세 가지 표현을 포함한 전체 모델은 중간 회전 오차를 키포인트만 사용할 경우 1.357°에서 1.104°로 감소시키고, 이동 오차를 0.061에서 0.040으로 줄여 뚜렷한 향상을 보인다.
• 엣지 벡터를 추가하면 키포인트만 사용할 경우 대비 회전 오차는 18% 감소하고, 이동 오차는 34% 감소하여 가장 큰 성능 향상을 이룬다.
• 대칭 대응을 포함함으로써 평균적으로 0.5°의 회전 추정 향상이 이루어지며, 특히 반사 평면을 따라 예측을 안정화시킨다.
• HybridPose는 일반적인 워크스테이션에서 30fps로 실행되어, 표현 복잡도가 증가했음에도 불구하고 실시간 성능을 유지한다.
• 제거 실험 결과, 엣지 벡터는 이동 정확도 향상에 더 기여하고, 대칭 대응은 회전 안정성 향상에 기여함을 확인할 수 있다.