[논문 리뷰] Learning to Calibrate Straight Lines for Fisheye Image Rectification

Zhucun Xue, Nan Xue외 2명|arXiv (Cornell University)|2019. 04. 22.

Optical measurement and interference techniques참고 문헌 32인용 수 12

한 줄 요약

이 논문은 왜곡된 선이 보정 후에 직선이 되어야 한다는 기하학적 제약을 활용하여, 볼록렌즈 내재 매개변수와 왜곡된 이미지를 동시에 보정하는 딥러닝 방법을 제안한다. 이 방법은 선 유도 매개변수 추정 모듈, 왜곡된 선 인식 모듈, 그리고 미분 가능한 보정 레이어를 갖춘 다중 척도, 엔드 투 엔드 신경망을 사용하며, 재투영 오차가 0.5 픽셀 이하이고, 합성 및 실제 볼록렌즈 이미지에서 PSNR가 27.61에 이르는 최신 기술 수준의 성능을 달성한다.

ABSTRACT

This paper presents a new deep-learning based method to simultaneously calibrate the intrinsic parameters of fisheye lens and rectify the distorted images. Assuming that the distorted lines generated by fisheye projection should be straight after rectification, we propose a novel deep neural network to impose explicit geometry constraints onto processes of the fisheye lens calibration and the distorted image rectification. In addition, considering the nonlinearity of distortion distribution in fisheye images, the proposed network fully exploits multi-scale perception to equalize the rectification effects on the whole image. To train and evaluate the proposed model, we also create a new largescale dataset labeled with corresponding distortion parameters and well-annotated distorted lines. Compared with the state-of-the-art methods, our model achieves the best published rectification quality and the most accurate estimation of distortion parameters on a large set of synthetic and real fisheye images.

연구 동기 및 목표

• 수동 캘리브레이션 패턴이 필요 없이, 볼록렌즈 매개변수를 동시에 캘리브레이션하고 왜곡된 이미지를 보정하는 엔드 투 엔드 딥러닝 방법을 개발하는 것.
• 실제 세계의 직선이 볼록렌즈 투영에 의해 왜곡되어도 보정 후에 여전히 직선으로 투영되어야 한다는 기하학적 제약을 활용하는 것.
• 이전 방법들이 왜곡된 이미지에서 기하학적 객체(예: 원추곡선 또는 선)를 검출하는 데 의존하는 데서 비롯되는 어려움을 해결하는 것.
• 네트워크 아키텍처에 다중 척도 인식과 곡률 제약을 통합하여 보정 품질 향상과 왜곡 매개변수 추정 정확도 향상을 도모하는 것.
• 학습 및 평가를 위한 지름길 왜곡된 선과 기준 왜곡 매개변수를 포함한 대규모 합성 데이터셋을 구축하는 것.

제안 방법

• 네트워크는 세 가지 주요 모듈로 구성된다: 보정 후에 직선이 되어야 할 선을 식별하는 왜곡된 선 검출 모듈, 다중 척도 인식을 통해 전역 및 국소 왜곡 매개변수를 추정하는 선 유도 매개변수 추정(LPE) 모듈, 추정된 매개변수를 적용하여 왜곡을 보정하는 미분 가능한 보정 레이어.
• LPE 모듈은 원본 RGB 볼록렌즈 이미지와 검출된 왜곡된 선 지ap을 입력으로 받아, 이미지 콘텐츠와 선 구조 양쪽에서 기하학적 인식 특징을 학습할 수 있도록 한다.
• 훈련 중에 곡률 제약(CVC)이 적용되어, 검출된 왜곡된 선이 보정된 출력에서 직선으로 변환되도록 보장하며, 기하학적 사전 지식을 손실 함수에 직접 통합한다.
• 다중 척도 인식(MSP)은 볼록렌즈 이미지 전역에서 비균일한 왜곡 분포를 처리하기 위해 LPE 모듈에 통합되어 중심부 및 외곽부 모두에서 정확도와 강인성을 향상시킨다.
• 전체 네트워크는 다중 척도 인식 손실과 곡률 제약 손실을 조합한 복합 손실 함수를 사용하여 엔드 투 엔드로 훈련된다.
• 기존의 [17] 데이터셋에서 유도된 웨이어프레임 시나리오를 알려진 볼록렌즈 투영 모델을 사용해 왜곡하여, 기준 왜곡 매개변수와 함께 왜곡된 선이 주석 처리된 대규모 합성 데이터셋을 새롭게 생성하였다.

실험 결과

연구 질문

• RQ1 딥 네트워크는 볼록렌즈 이미지에서 보정 후에 직선이 되어야 할 왜곡된 선을 효과적으로 학습하여 탐지할 수 있는가?
• RQ2 명시적인 기하학적 제약—특히 선의 직선 유지—을 딥러닝 모델에 효과적으로 통합하여 볼록렌즈 캘리브레이션 및 보정에 활용할 수 있는가?
• RQ3 다중 척도 인식은 왜곡 강도가 다양한 영역을 포함한 볼록렌즈 이미지에서 왜곡 매개변수 추정 정확도를 향상시키는가?
• RQ4 분리된 탐지 또는 최적화 단계에 의존하는 기존 방법과 비교해, 단일 엔드 투 엔드 네트워크가 보다 뛰어난 보정 품질과 매개변수 추정 정확도를 달성할 수 있는가?
• RQ5 RGB 입력과 선 지도 입력의 조합은 기하학적 정확도와 시각적 품질 측면에서 네트워크 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 테스트 세트에서 재투영 오차(RPE)가 0.4761 픽셀로, 비교된 모든 방법보다 유의미하게 낮고, 1 픽셀 이내이므로 매우 정확한 왜곡 매개변수 추정을 의미한다.
• 메트릭스는 테스트 세트에서 PSNR 27.61과 SSIM 0.8746을 달성하여, 이미지 품질과 구조 보존 측면에서 모든 최신 기술 수준의 방법을 능가한다.
• 절단 실험 결과, 곡률 제약(CVC) 또는 다중 척도 인식(MSP)을 제거할 경우 보정이 불안정해지며, RPE가 각각 4.326과 3.175로 증가함을 확인하여, 이들 요소의 핵심적 역할을 입증한다.
• RGB + 선 지도의 4차원 입력을 사용한 모델이 가장 뛰어난 성능을 보였으며, PSNR 27.61과 RPE 0.4761을 달성하여, RGB만 사용한 모델(PSNR 21.35)이나 선 지도만 사용한 모델(PSNR 22.41)을 모두 능가했다.
• 실제 볼록렌즈 이미지에 대해서도 잘 일반화되어, 기준 카메라 매개변수 없이도 뛰어난 시각적 보정 결과를 도출함으로써 강력한 일반화 능력을 입증했다.
• D-Wireframe 및 Fish-SUNCG와 같은 다양한 데이터셋을 통해, 풀프레임, 풀서큘러, 드럼 투영 유형의 볼록렌즈에 모두 잘 적용됨을 확인하여 네트워크의 다양한 볼록렌즈 유형에 대한 강인함을 입증했다.