[논문 리뷰] Learning-Based Framework for Camera Calibration with Distortion Correction and High Precision Feature Detection

Yesheng Zhang, Xu Zhao외 1명|arXiv (Cornell University)|2022. 02. 01.

Optical measurement and interference techniques인용 수 7

한 줄 요약

이 논문은 깊이 학습을 통한 원형 왜곡 보정, 이상치 거부를 통한 히트맵 학습을 통한 서브픽셀 체스보드 모서리 검출 및 콘지그레이션 후처리, 그리고 이미지 수준 RANSAC을 통한 안정적인 매개변수 추정을 통합하는 학습 기반 카메라 캘리브레이션 프레임워크를 제안한다. 이 방법은 합성 및 실제 데이터셋 모두에서 최신 기술보다 높은 정밀도와 강인성을 달성한다.

ABSTRACT

Camera calibration is a crucial technique which significantly influences the performance of many robotic systems. Robustness and high precision have always been the pursuit of diverse calibration methods. State-of-the-art calibration techniques based on classical Zhang's method, however, still suffer from environmental noise, radial lens distortion and sub-optimal parameter estimation. Therefore, in this paper, we propose a hybrid camera calibration framework which combines learning-based approaches with traditional methods to handle these bottlenecks. In particular, this framework leverages learning-based approaches to perform efficient distortion correction and robust chessboard corner coordinate encoding. For sub-pixel accuracy of corner detection, a specially-designed coordinate decoding algorithm with embed outlier rejection mechanism is proposed. To avoid sub-optimal estimation results, we improve the traditional parameter estimation by RANSAC algorithm and achieve stable results. Compared with two widely-used camera calibration toolboxes, experiment results on both real and synthetic datasets manifest the better robustness and higher precision of the proposed framework. The massive synthetic dataset is the basis of our framework's decent performance and will be publicly available along with the code at https://github.com/Easonyesheng/CCS.

연구 동기 및 목표

• 카메라 캘리브레이션에서 지속적인 과제인 정확하지 않은 모서리 검출, 원형 렌즈 왜곡, 불안정한 매개변수 추정 문제를 해결한다.
• CNN 기반 히트맵 예측과 가우시안 표면 피팅 및 이상치 거부를 조합하여 서브픽셀 모서리 정위치 정확도를 향상시킨다.
• 큰 합성 데이터셋으로 훈련된 CNN을 사용하여 왜곡 보정 매개변수를 추론함으로써 원형 왜곡을 보정한다.
• 재투영 오차 기반 이미지 수준 RANSAC 절차를 도입하여 매개변수 추정의 안정성을 향상시켜 이상치에 대한 민감도를 감소시킨다.
• 고정밀 로봇 및 의료 응용 분야를 위한 고정밀 캘리브레이션을 위한 통합형 엔드 투 엔드 프레임워크를 개발한다.

제안 방법

• 실용적인 왜곡 모델을 사용하여 왜곡된 체스보드 이미지에서 직접 원형 왜곡 보정 매개변수를 예측하는 CNN을 훈련시킨다.
• 각 모서리를 지정된 지정된 서브픽셀 위치 중심의 가우시안 분포로 모델링하여 지도 학습을 위한 히트맵 표현을 설계한다.
• 입력 이미지에서 히트맵을 회귀하는 데 깊이 학습 CNN을 사용한 후, 가우시안 표면 피팅을 적용하여 모서리 위치를 서브픽셀 정밀도로 정밀화한다.
• 분포 인식 이상치 거부를 적용하여 비정상적인 히트맵 분포 기반으로 신뢰할 수 없는 검출을 필터링한다.
• 체스보드 패턴의 선 공선성 특성을 활용하여 검출된 모서리 간의 기하학적 일관성을 강제함으로써 콘지그레이션 후처리를 수행한다.
• 모든 검출된 모서리의 재투영 오차를 평가하는 이미지 수준 RANSAC 알고리즘을 통합하여 최적의 카메라 모델을 선택함으로써 매개변수 추정의 안정성을 향상시킨다.

실험 결과

연구 질문

• RQ1 노이즈와 왜곡이 존재하는 상황에서 딥 러닝 기반 접근이 픽셀 수준 정밀도를 초월해 서브픽셀 모서리 검출 정확도를 향상시킬 수 있는가?
• RQ2 명시적인 기하학적 사전 지식 없이도 CNN이 원형 렌즈 왜곡을 효과적으로 학습하고 보정할 수 있는가?
• RQ3 이상치 거부 및 기하학적 후처리 통합이 어려운 촬영 조건에서 모서리 검출의 강인성을 어떻게 향상시키는가?
• RQ4 단순화된 이미지 수준 RANSAC 절차가 순수하게 대수적 최적화에 비해 카메라 매개변수 추정의 안정성과 정확도를 크게 향상시킬 수 있는가?
• RQ5 왜곡 보정, 정밀한 특징 검출, 강인한 추정을 통합한 통합 프레임워크가 기존 최신 기술보다 우수한 성능을 내는가?

주요 결과

• 히트맵 학습과 가우시안 피팅, 이상치 거부를 조합한 제안된 프레임워크는 기존 CNN 기반 방법보다 뛰어난 서브픽셀 모서리 검출 정확도를 달성한다.
• CNN 기반 왜곡 보정이 효과적으로 원형 왜곡을 제거하여 고도로 왜곡된 이미지에서도 더 정확한 모서리 검출을 가능하게 한다.
• 분포 인식 이상치 거부 단계는 비정상적인 히트맵 형상으로 인해 신뢰할 수 없는 검출을 성공적으로 식별하고 제거하여 검출 신뢰도를 향상시킨다.
• 콘지그레이션 후처리 단계는 기하학적 일관성을 강제하여 모서리 좌표를 정밀화함으로써 정밀도를 추가로 향상시킨다.
• 이미지 수준 RANSAC 절차는 모든 모서리의 재투영 오차를 최소화하여 카메라 매개변수 추정의 안정성을 크게 향상시킨다.
• 합성 및 실제 데이터셋 모두에서, 이 프레임워크는 최신 기술보다 높은 정밀도와 더 높은 강인성을 보이며, 재투영 오차의 평균 및 표준편차 측면에서 개선된 정량적 결과를 보여준다.