[논문 리뷰] YOLOff: You Only Learn Offsets for robust 6DoF object pose estimation

Mathieu Gonzalez, Amine Kacete외 2명|arXiv (Cornell University)|2020. 02. 03.

Robotics and Sensor-Based Localization인용 수 4

한 줄 요약

YOLOff는 RGB-D 이미지와 키포인트 오프셋 학습을 사용하여 정확도와 내성성을 향상시킨 두 단계의 6DoF 객체 자세 추정 방법을 제안한다. 먼저, CNN을 통해 RGB-D 이미지에서 2D 객체 위치와 3D 키포인트 오프셋을 예측하고, 이후 기하학적 정렬을 통해 예측된 3D 키포인트를 기준 3D 모델과 일치시켜 최종 자세를 계산한다. 이 방법은 LineMod 데이터셋에서 최신 기술 대비 뛰어난 내성성과 정확도를 확보한다.

ABSTRACT

Estimating the 3D translation and orientation of an object is a challenging task that can be considered within augmented reality or robotic applications. In this paper, we propose a novel approach to perform 6 DoF object pose estimation from a single RGB-D image in cluttered scenes. We adopt an hybrid pipeline in two stages: data-driven and geometric respectively. The first data-driven step consists of a classification CNN to estimate the object 2D location in the image from local patches, followed by a regression CNN trained to predict the 3D location of a set of keypoints in the camera coordinate system. We robustly perform local voting to recover the location of each keypoint in the camera coordinate system. To extract the pose information, the geometric step consists in aligning the 3D points in the camera coordinate system with the corresponding 3D points in world coordinate system by minimizing a registration error, thus computing the pose. Our experiments on the standard dataset LineMod show that our approach more robust and accurate than state-of-the-art methods.

연구 동기 및 목표

• 혼잡한 환경에서 단일 RGB-D 이미지를 사용하여 6DoF 객체 자세 추정을 향상시키기 위해.
• 부정확한 3D 객체 자세 추정 문제를 해결하기 위해, 가림과 시각적 혼잡 속에서도 정확하고 내성적인 자세 추정을 달성하기 위해.
• 딥 러닝을 통한 키포인트 예측과 기하학적 정렬을 통한 자세 보정을 융합한 하이브리드 접근법을 개발하기 위해.
• 기존 최신 기술 대비 표준 벤치마크에서 정확도와 내성성 측면에서 슈퍼리어한 성능을 내기 위해.

제안 방법

• 지역 이미지 패치에서 객체의 2D 위치를 탐지하기 위해 분류용 CNN을 사용한다.
• 카메라 좌표계 기준 카메라 원점으로부터의 3D 키포인트 오프셋을 예측하기 위해 회귀용 CNN을 사용한다.
• 다중 예측을 통합하고 3D 키포인트의 각 위치를 안정적으로 추정하기 위해 국소 투표 기법을 적용한다.
• 예측된 3D 키포인트와 기준 3D 모델의 대응점 사이의 정렬 오차를 최소화하는 기하학적 정렬 단계를 통해 최종 6DoF 자세를 계산한다.
• 데이터 기반 키포인트 예측과 기하학적 최적화 단계를 융합하여 자세 정확도를 향상시킨다.
• RGB-D 입력을 활용하여 깊이 정보를 활용해 3D 국소화 정확도와 내성성을 향상시킨다.

실험 결과

연구 질문

• RQ1 딥 러닝과 기하학적 최적화를 융합한 두 단계 파이프라인은 혼잡한 환경에서 6DoF 자세 추정을 향상시킬 수 있는가?
• RQ2 RGB-D 이미지에서 3D 키포인트 오프셋을 학습하는 방식은 6DoF 직접 회귀 대비 내성성 측면에서 어떻게 비교되는가?
• RQ3 노이즈나 가림이 존재할 경우 국소 투표 기법이 3D 키포인트 예측의 신뢰성에 얼마나 기여하는가?
• RQ4 엔드 투 엔드 학습에 비해 기하학적 정렬 단계가 자세 정확도 향상에 얼마나 뚜렷한 기여를 하는가?
• RQ5 LineMod과 같은 표준 벤치마크에서 제안된 방법은 최신 기술 대비 어떻게 성능을 내는가?

주요 결과

• YOLOff는 LineMod 벤치마크 데이터셋에서 최신 기술 대비 더 높은 정확도와 내성성을 확보한다.
• 국소 투표 기법의 사용이 회귀 CNN에서 유도된 3D 키포인트 예측의 신뢰성에 뚜렷한 향상을 이룬다.
• 데이터 기반과 기하학적 최적화를 융합한 하이브리드 파이프라인은 혼잡한 환경에서 순수 엔드 투 엔드 학습 방법보다 뛰어난 성능을 보인다.
• RGB-D 입력을 통한 깊이 정보 통합은 3D 국소화 정밀도를 향상시키고 자세 추정 오차를 감소시킨다.
• 기하학적 정렬 단계는 예측된 3D 키포인트를 기준 3D 모델 점들과 일치시켜 잔여 오차를 효과적으로 줄인다.