[논문 리뷰] Deep Model-Based 6D Pose Refinement in RGB

Fabian Manhardt, Wadim Kehl외 2명|arXiv (Cornell University)|2018. 10. 07.

Advanced Vision and Imaging참고 문헌 32인용 수 4

한 줄 요약

이 논문은 대응 관계, 세그멘테이션 또는 명시적 외관 모델링 없이도 물체 윤곽선을 정렬하는 가분성 있는 시각적 손실을 사용하여 RGB 이미지에서 6자유도 자세 보정을 위한 딥러닝 기반 방법을 제안한다. 이 방법은 깊이 데이터 없이도 합성 RGB 데이터만으로도 near-ICP 수준의 정확도를 달성하며 실시간으로 실행되어 부분적 음영, 대칭성 및 나쁜 초기화에 대해 강건함을 입증한다.

ABSTRACT

We present a novel approach for model-based 6D pose refinement in color data. Building on the established idea of contour-based pose tracking, we teach a deep neural network to predict a translational and rotational update. At the core, we propose a new visual loss that drives the pose update by aligning object contours, thus avoiding the definition of any explicit appearance model. In contrast to previous work our method is correspondence-free, segmentation-free, can handle occlusion and is agnostic to geometrical symmetry as well as visual ambiguities. Additionally, we observe a strong robustness towards rough initialization. The approach can run in real-time and produces pose accuracies that come close to 3D ICP without the need for depth data. Furthermore, our networks are trained from purely synthetic data and will be published together with the refinement code to ensure reproducibility.

연구 동기 및 목표

• 깊이 데이터가 없는 RGB 전용 환경에서 6자유도 자세 보정 문제를 해결한다.
• 수작업으로 만든 세그멘테이션, 대응 관계 또는 외관 모델에 의존하는 기존 방법의 한계를 극복한다.
• 수동 튜닝 없이 음영, 대칭성 및 시각적 모호성에 대해 강건한 자세 보정을 가능하게 한다.
• 높은 정확도를 유지하면서도 실시간 성능을 달성한다. 깊이 기반 ICP 방법과 유사한 정확도를 확보한다.
• 일반화성과 재현 가능성을 보장하기 위해 네트워크를 완전히 합성 데이터로 훈련시킨다.

제안 방법

• 렌더링된 물체 윤곽선과 장면 윤곽선 간의 겹침을 최대화함으로써 자세 보정을 이끄는 가분성 있는 시각적 손실을 제안한다.
• RGB 입력과 합성 렌더링을 기반으로 6자유도 자세 업데이트(이동 및 회전)를 예측하기 위해 CNN을 훈련시킨다.
• 다양한 조명 조건과 음영을 가진 합성 RGB 데이터를 사용하여 훈련 중에 물체의 외관과 형태를 암묵적으로 학습한다.
• 최적화 신호로 윤곽선 정렬 외에 외관 또는 기하학적 모델링을 명시적으로 하지 않음으로써 이를 회피한다.
• RANSAC, 세그멘테이션 또는 대응 관계 매칭을 필요로 하지 않는 파rameter-free 최적화 프레임워크를 설계한다.
• 다양한 CAD 모델로 훈련하고 동일 카테고리의 새로운 인스턴스에서 평가하여 일반화성을 확보한다.

실험 결과

연구 질문

• RQ1 수동 외관 모델링이나 대응 관계 모델링 없이 윤곽선 정렬만으로도 딥 네트워크가 RGB에서 6자유도 물체 자세를 보정할 수 있는가?
• RQ2 합성 데이터로 훈련된 네트워크가 음영과 시각적 모호성을 포함한 실제 RGB 이미지로의 일반화 정도는 어느 정도인가?
• RQ3 전통적인 ICP나 외관 기반 방법과 비교해 윤곽선 기반 학습의 정확도와 강건성은 어떻게 다른가?
• RQ4 이 방법은 수동 조정 없이 대칭 물체나 강한 초기화 오차를 어떻게 처리할 수 있는가?
• RQ5 깊이 데이터가 없는 경우 RGB-D 방법 대비 성능 저하가 심각한가?

주요 결과

• 깊이 데이터 없이도 3D ICP 수준에 가까운 자세 정확도를 달성하여 RGB 전용 환경에서 뛰어난 성능을 보였다.
• 음영 데이터셋에서 ADD 점수는 6.2%에서 28.5%로 향상되어 부분적 음영에 대한 뛰어난 강건성을 입증했다.
• 음영 조건에서 기준 방법 대비 X 및 Y 축 방향으로 이동 오차가 4mm 감소하고 Z 축 방향으로 28mm 감소했다.
• 시각적 손실을 사용해 훈련한 네트워크는 대칭 물체에서 MSE 기반 훈련 대비 VSS 지표에서 14% 높은 성능을 보였으며, 적절한 대칭 처리의 중요성을 입증했다.
• 카테고리 수준의 트래킹에 일반화되어, 다양한 유사 CAD 모델로 훈련한 후에는 미리 보지 못한 머그잔 및 Bowls 모델의 자세도 성공적으로 보정했다.
• 실패 사례로는 유사한 형태나 색상의 물체를 잘못 식별하거나, 극심한 음영 조건에서 완전한 복구가 어려운 경우가 있으며, 이는 복잡한 시각적 혼동 상황에서의 현재 한계를 시사한다.