[논문 리뷰] TartanCalib: Iterative Wide-Angle Lens Calibration using Adaptive SubPixel Refinement of AprilTags

Bardienus P Duisterhof, Yaoyu Hu외 3명|arXiv (Cornell University)|2022. 10. 05.

Advanced Vision and Imaging인용 수 4

한 줄 요약

TartanCalib는 가상 편광 카메라로 이미지를 왜곡 보정하고 중간 카메라 모델을 사용해 재투영하는 반복적인 광각 렌즈 캘리브레이션 파이프라인을 제안한다. 이는 적응형 서브픽셀 정밀 조정과 함께 고왜곡 영역에서의 기능 검출 및 서브픽셀 정밀 조정을 향상시킨다. 이는 재투영 오차를 최대 26.59% 감소시키고, Kalibr와 같은 최신 기술 대비 기능 검출 수를 42.01% 더 높여, 밀도 있는 깊이 맵 생성과 같은 후속 작업을 크게 향상시킨다.

ABSTRACT

Wide-angle cameras are uniquely positioned for mobile robots, by virtue of the rich information they provide in a small, light, and cost-effective form factor. An accurate calibration of the intrinsics and extrinsics is a critical pre-requisite for using the edge of a wide-angle lens for depth perception and odometry. Calibrating wide-angle lenses with current state-of-the-art techniques yields poor results due to extreme distortion at the edge, as most algorithms assume a lens with low to medium distortion closer to a pinhole projection. In this work we present our methodology for accurate wide-angle calibration. Our pipeline generates an intermediate model, and leverages it to iteratively improve feature detection and eventually the camera parameters. We test three key methods to utilize intermediate camera models: (1) undistorting the image into virtual pinhole cameras, (2) reprojecting the target into the image frame, and (3) adaptive subpixel refinement. Combining adaptive subpixel refinement and feature reprojection significantly improves reprojection errors by up to 26.59 %, helps us detect up to 42.01 % more features, and improves performance in the downstream task of dense depth mapping. Finally, TartanCalib is open-source and implemented into an easy-to-use calibration toolbox. We also provide a translation layer with other state-of-the-art works, which allows for regressing generic models with thousands of parameters or using a more robust solver. To this end, TartanCalib is the tool of choice for wide-angle calibration. Project website and code: http://tartancalib.com.

연구 동기 및 목표

• 광각 렌즈의 고왜곡 영역, 특히 이미지 경계 근처에서의 열악한 기능 검출과 정확도 부족 문제를 해결하기 위해.
• 낮은에서 중간 수준의 왜곡을 가정하는 기존 캘리브레이션 파이프라인의 한계를 극복하기 위해, 극단적인 피시아 렌즈에 대해 잘못된 가정을 하지 않도록 하기 위해.
• 중간 카메라 모델을 활용해 기능 검출 및 정밀 조정 정확도를 향상시키는 견고하고 반복적인 캘리브레이션 파이프라인을 개발하기 위해.
• 시각적 오도메트리 및 밀도 있는 깊이 맵 생성과 같은 후속 로봇 작업을 향상시키기 위해, 고왜곡 영역까지 포함한 전체 이미지 영역을 신뢰성 있게 활용할 수 있도록 하기 위해.
• 기존 도구인 Kalibr와 통합 가능한 오픈소스이자 사용이 간편한 캘리브레이션 툴박스를 제공하기 위해.

제안 방법

• 파이프라인은 이미지를 가상 편광 카메라로 왜곡 보정하고, 중간 카메라 모델을 사용해 캘리브레이션 타겟을 다시 투영하는 반복적 과정을 반복한다.
• 재투영된 타겟 크기에 기반한 적응형 서브픽셀 정밀 조정을 적용하여 왜곡 수준에 따라 정밀 조정 민감도를 동적으로 조절한다.
• 고왜곡 영역에서 기능 정렬 정확도를 향상시키기 위해 새로운 적응형 cornerSubPix() 방법을 도입했으며, 이는 극한 왜곡 하에서 불안정한 대칭 기반 정밀 조정보다 뛰어난 성능을 보인다.
• 중간 모델 재투영과 서브픽셀 정밀 조정을 결합해 반복적으로 카메라 파라미터 추정 및 기능 검출 정확도를 향상시킨다.
• 번역 레이어를 통해 Kalibr와 같은 기존 툴박스와의 통합을 지원하며, 수천 개의 파라미터를 가진 일반 카메라 모델의 회귀를 가능하게 한다.
• 최소한의 하이퍼파rameter 튜닝으로도 안정적으로 작동하며, 비반복 기반 기준 대비 2~3배의 실행 시간만 소요된다.

실험 결과

연구 질문

• RQ1 중간 모델 개선을 통한 반복적 캘리브레이션은 고왜곡 광각 렌즈 영역에서 기능 검출 정확도를 향상시키는가?
• RQ2 재투영된 타겟 크기에 기반한 적응형 서브픽셀 정밀 조정은 극한 왜곡 상황에서 전통적 서브픽셀 방법보다 뛰어나게 성능을 발휘하는가?
• RQ3 향상된 기능 검출은 광각 렌즈 캘리브레이션에서 재투영 오차를 얼마나 줄이는가?
• RQ4 향상된 기능 커버리지 및 정확도는 스테레오 깊이 맵 생성과 같은 후속 작업에 어떤 영향을 미치는가?
• RQ5 제안된 파이프라인은 Kalibr와 같은 기존 캘리브레이션 툴박스에 큰 수정 없이 효과적으로 통합될 수 있는가?

주요 결과

• TartanCalib는 Lensagon BF5M 피시아 렌즈에서 Kalibr 대비 총 재투영 오차를 최대 26.59% 감소시켰으며, 0.3297 px에서 0.2630 px로 감소하였다.
• 이 방법은 특히 고왜곡 경계 영역에서 Kalibr 대비 최대 42.01% 더 많은 기능을 검출하여 기능 커버리지가 크게 향상되었다.
• cornerSubPix()를 사용한 적응형 서브픽셀 정밀 조정은 고왜곡 하에서 불안정한 대칭 기반 정밀 조정보다 뛰어난 성능을 보였으며, 이는 Lensagon BF5M 데이터셋에서 특히 두드러졌다.
• 향상된 기능 검출은 가상 편광 스테레오 쌍을 생성할 때 더 낮은 노이즈의 디스parity 맵을 생성함으로써 깊이 맵 생성에서 향상된 후속 성능을 보여주었다.
• TartanCalib는 최소한의 하이퍼파rameter 튜닝과 2~3배의 런타임 오버헤드로 광각 렌즈에 대해 최신 기술 수준의 기능 검출 및 캘리브레이션 정확도를 달성하였다.
• 오픈소스 툴박스는 Kalibr와 호환되며, 일반 카메라 모델과 견고한 솔버를 모두 지원해 넓은 통합과 활용을 가능하게 하였다.