[논문 리뷰] Deep ChArUco: Dark ChArUco Marker Pose Estimation

Danying Hu, Daniel DeTone외 3명|arXiv (Cornell University)|2018. 12. 08.

Robotics and Sensor-Based Localization참고 문헌 17인용 수 4

한 줄 요약

이 논문은 기존 OpenCV 기반 방법이 실패하는 극한의 조도 및 운동 조건에서도 안정적인 6DoF 자세 추정을 위한 실시간 딥러닝 기반 시스템인 Deep ChArUco를 제안한다. 두 헤드를 가진 CNN(ChArUcoNet)을 통해 마커 ID 분류와 2D 코너 검출을 동시에 수행하고, 하위픽셀 정밀도 향상 네트워크(RefineNet)를 결합하여 극한의 증강 기반으로 생성된 합성 데이터와 자동으로 레이블링된 데이터로 훈련함으로써, 저조도 및 고블러 조건에서도 뛰어난 정확도와 강인성을 확보한다.

ABSTRACT

ChArUco boards are used for camera calibration, monocular pose estimation, and pose verification in both robotics and augmented reality. Such fiducials are detectable via traditional computer vision methods (as found in OpenCV) in well-lit environments, but classical methods fail when the lighting is poor or when the image undergoes extreme motion blur. We present Deep ChArUco, a real-time pose estimation system which combines two custom deep networks, ChArUcoNet and RefineNet, with the Perspective-n-Point (PnP) algorithm to estimate the marker's 6DoF pose. ChArUcoNet is a two-headed marker-specific convolutional neural network (CNN) which jointly outputs ID-specific classifiers and 2D point locations. The 2D point locations are further refined into subpixel coordinates using RefineNet. Our networks are trained using a combination of auto-labeled videos of the target marker, synthetic subpixel corner data, and extreme data augmentation. We evaluate Deep ChArUco in challenging low-light, high-motion, high-blur scenarios and demonstrate that our approach is superior to a traditional OpenCV-based method for ChArUco marker detection and pose estimation.

연구 동기 및 목표

• 저조도 및 고운동 블러 조건에서 기존 OpenCV 기반 ChArUco 검출이 실패하는 문제를 해결한다.
• 어려운 시각 조건에서도 증강현실 및 로봇 응용 분야를 위한 실시간이고 강인한 마커 검출 시스템을 개발한다.
• 딥러닝과 고전적 PnP 알고리즘의 조합을 통해 6DoF 자세 복구의 정확도를 향상시킨다.
• 희귀 시각 조건에 대한 데이터 부족 문제를 해결하기 위해 합성 데이터와 자동으로 레이블링된 실물 영상 데이터를 활용한 훈련 파이프라인을 설계한다.
• 그림자, 낮은 조도, 또는 운동 블러로 인해 고전적 방법이 실패하는 상황에서도 ChArUco 마커의 신뢰성 있는 검출을 가능하게 한다.

제안 방법

• 각 검출된 ChArUco 패턴에 대해 마커 ID와 2D 코너 위치를 동시에 예측하는 두 헤드의 완전 컨volution 신경망인 ChArUcoNet을 제안한다.
• ChArUcoNet의 거친 검출 결과를 국소 8×8 영역에서 학습된 회귀를 통해 보정함으로써 코너 정밀도를 향상시키는 하위픽셀 정밀도 향상 네트워크인 RefineNet을 도입한다.
• 목표 마커의 자동으로 레이블링된 실물 영상 시퀀스와 합성된 하위픽셀 정확도의 코너 데이터를 조합한 하이브리드 데이터 파이프라인을 사용해 네트워크를 훈련시킨다.
• 극한의 데이터 증강 기법을 적용하여 강인성을 향상시키며, 이는 랜덤 조도 변화, 운동 블러, 그림자 시뮬레이션 포함이다.
• 딥 러닝 네트워크로부터 확보한 정밀한 2D-3D 대응점을 기반으로 Perspective-n-Point (PnP) 알고리즘을 사용해 6DoF 자세를 계산한다.
• ChArUcoNet의 완전 컨볼루션 구조를 활용해 다양한 해상도에서 처리가 가능하며, RefineNet를 선택적으로 적용함으로써 실시간 추론을 구현한다.

실험 결과

연구 질문

• RQ1 딥러닝 기반 접근이 OpenCV가 실패하는 저조도 및 고운동 블러 조건에서 ChArUco 마커 검출 및 자세 추정의 강인성을 향상시킬 수 있는가?
• RQ2 극한의 시각 조건에서, 검출 + 하위픽셀 정밀도 향상의 이중 단계 딥러닝 파이프라인은 고전적 코너 정밀도 향상 기법보다 얼마나 효과적인가?
• RQ3 합성 데이터와 자동으로 레이블링된 실물 데이터의 조합이 얼마나 많은 수동 레이블링이 필요로 하는지를 줄일 수 있으며, 높은 성능을 유지할 수 있는가?
• RQ4 극한의 데이터 증강 기법을 적용한 패턴 전용 네트워크가 어려운 상황에서 일반 목적의 검출 방법보다 뚜렷이 뛰어난 성능을 보일 수 있는가?
• RQ5 제안된 시스템은 악조건의 조도 및 운동 조건에서도 실시간 성능을 유지를 하면서 하위픽셀 정확도를 확보할 수 있는가?

주요 결과

• 3 룩스 이상의 조도 조건에서 26개의 테스트 시퀀스에서 Deep ChArUco는 100% 검출 정확도를 달성했고, OpenCV는 1 룩스 이하에서는 완전히 실패했다.
• 그림자 조건(예: 100 룩스에 캐스트 그림자 존재)에서 Deep ChArUco는 100% 정확도와 평균 재투영 오차 0.102 픽셀을 유지했고, OpenCV는 30.1% 정확도와 0.116 오차를 기록했다.
• 운동 블러 조건에서 Deep ChArUco는 80.3% 정확도와 평균 재투영 오차 1.347 픽셀을 달성했으며, OpenCV의 31.1% 정확도와 0.160 오차에 비해 뚜렷이 뛰어난 성능을 보였다.
• 운동 블러 제외 모든 조건에서 RefineNet이 재투영 오차를 감소시켰고, 가장 큰 향상은 저조도 조건에서 관찰되었으며(예: 0.3 룩스에서 0.858 → 0.427 픽셀)
• 시스템은 실시간으로 작동하며, GTX 1080 GPU에서 320×240 이미지를 30 FPS 이상 처리하며, RefineNet를 사용할 경우 추론 시간이 98.6 ms이다.
• 자신의 레이블링된 영상과 합성된 하위픽셀 데이터의 조합은 광범위한 수동 레이블링 없이도 높은 성능 훈련을 가능하게 하여, 데이터 파이프라인의 효과성을 입증했다.