[논문 리뷰] Segmentation-driven 6D Object Pose Estimation

Yinlin Hu, Joachim Hugonot외 2명|arXiv (Cornell University)|2018. 12. 06.

Robotics and Sensor-Based Localization참고 문헌 47인용 수 9

한 줄 요약

이 논문은 2D 키포인트 위치와 국소 물체 부위의 세그멘테이션 마스크를 예측하고, RANSAC 기반 PnP를 통해 신뢰도가 높은 예측을 융합함으로써 막힘에 대한 강건성을 향상시키는 세그멘테이션 기반 6D 물체 자세 추정 프레임워크를 제안한다. 이는 Occluded-LINEMOD 및 YCB-Video에서 최신 기술을 능가하면서도, 세그멘테이션과 국소 자세 추정을 공동으로 학습함으로써 실시간 추론을 구현한다.

ABSTRACT

The most recent trend in estimating the 6D pose of rigid objects has been to train deep networks to either directly regress the pose from the image or to predict the 2D locations of 3D keypoints, from which the pose can be obtained using a PnP algorithm. In both cases, the object is treated as a global entity, and a single pose estimate is computed. As a consequence, the resulting techniques can be vulnerable to large occlusions. In this paper, we introduce a segmentation-driven 6D pose estimation framework where each visible part of the objects contributes a local pose prediction in the form of 2D keypoint locations. We then use a predicted measure of confidence to combine these pose candidates into a robust set of 3D-to-2D correspondences, from which a reliable pose estimate can be obtained. We outperform the state-of-the-art on the challenging Occluded-LINEMOD and YCB-Video datasets, which is evidence that our approach deals well with multiple poorly-textured objects occluding each other. Furthermore, it relies on a simple enough architecture to achieve real-time performance.

연구 동기 및 목표

• 6D 물체 자세 추정에서 큰 막힘과 혼잡한 환경에 취약한 전역 자세 추정의 취약점을 해결한다.
• 단일 자세 회귀나 키포인트 검출의 한계를 극복하기 위해 전역 물체 수준의 추론 대신 국소 부위 수준의 예측을 활용한다.
• 엔드 투 엔드, 실시간 구동이 가능한 아키텍처에서 개체 세그멘테이션과 6D 자세 추정을 공동으로 수행한다.
• 다수의 낮은 무늬의 막히는 물체가 존재하는 상황에서 신뢰도 가중 국소 자세 후보를 조합함으로써 강건성을 향상시킨다.
• 기존 딥 러닝 기반 자세 추정 방법에서 흔히 사용되는 후처리 보정 단계가 필요 없도록 한다.

제안 방법

• 공유 인코더와 별도의 디코더를 갖춘 이중 스트림 컨볼루션 신경망을 사용한다.
• 입력 이미지 위의 S×S 공간 그리드 각 위치에서 2D 키포인트 위치와 물체 부위 세그멘테이션 마스크를 예측한다.
• 각 예측된 2D 키포인트에 대해 신뢰도 점수를 할당하여 국소 예측의 신뢰성을 평가한다.
• 모든 가시 물체 부위에서 각 3D 키포인트에 대한 가장 신뢰도가 높은 2D 투영을 집계하여 강력한 3D-2D 대응 관계를 형성한다.
• 융합된 대응 관계에서 RANSAC 기반 PnP 알고리즘을 적용하여 단일이고 신뢰할 수 있는 6D 자세 추정치를 계산한다.
• 세그멘테이션 교차 엔트로피와 키포인트 회귀 손실을 조합한 다중 작업 손실을 사용해 네트워크를 엔드 투 엔드로 훈련시킨다.

실험 결과

연구 질문

• RQ1 전역 물체 수준의 자세 추정 대비 국소 부위 수준의 자세 예측이 막힘에 대한 강건성을 향상시키는가?
• RQ2 신뢰도 점수를 사용해 다수의 국소 자세 후보를 융합할 경우, 혼잡하거나 막힌 환경에서 자세 정확도에 어떤 영향을 미치는가?
• RQ3 경량 아키텍처를 통해 세그멘테이션과 자세 추정을 동시에 수행할 수 있으며, 실시간 추론이 가능한가?
• RQ4 제안된 방법이 도전적인 막힘 데이터셋에서 최신 기술의 전역 회귀 및 키포인트 검출 접근 방식을 어느 정도 능가하는가?
• RQ5 국소 예측 융합이 6D 자세 추정에서 후처리 보정 단계가 필요 없도록 할 수 있는가?

주요 결과

• YCB-Video 데이터셋에서 PoseCNN과 Heatmaps보다 높은 평균 6D 자세 정확도를 달성했으며, 특징 매핑을 사용하지 않았다.
• Occluded-LINEMOD 벤치마크에서 최신 기술 성능을 달성했으며, 특히 무거운 막힘이 발생하는 상황에서 뛰어난 성능을 보였다.
• PoseCNN과 Heatmaps보다 5배 이상 빠르게 실행되어 표준 하드웨어에서도 실시간 추론이 가능했다.
• 정성적 결과에서는 물체가 심하게 막혀도 정확한 자세 추정치를 생성하는 것으로 나타났으며, PoseCNN는 배경이나 이웃 물체의 오염으로 실패했다.
• Mask R-CNN와 CPM과 같은 전역 방법을 2D 모서리 예측에 적응시킨 경우에도 제안된 방법이 더 뛰어난 성능을 보였으며, 전역 수용장에 비해 국소 추론의 우수성을 입증했다.
• 강력한 결과에도 불구하고, 각 3D 키포인트에 대해 가장 좋은 키포인트 예측을 선택하는 오라클에 비해 여전히 성능이 열등하여, 신뢰도 평가 및 융합 전략의 향상 여지가 있음을 시사한다.