[논문 리뷰] Fisheye Distortion Rectification from Deep Straight Lines

Zhucun Xue, Nan Xue외 1명|arXiv (Cornell University)|2020. 03. 25.

Optical measurement and interference techniques참고 문헌 44인용 수 12

한 줄 요약

이 논문은 3차원 직선이 이미지에 투영될 때 직선으로 유지되는 기하학적 제약을 활용하여 볼록광선 왜곡을 보정하는 딥러닝 프레임워크인 LaRecNet을 제안한다. 이 방법은 왜곡된 선 인식, 다중스케일 캘리브레이션, 미분 가능 보정, 불확실성 정규화를 갖춘 선 인식 네트워크를 사용하여 새로운 합성 선 다수의 볼록광선 데이터셋에서 평균 재투영 오차 0.33 픽셀로 최신 기술 수준 성능을 달성한다.

ABSTRACT

This paper presents a novel line-aware rectification network (LaRecNet) to address the problem of fisheye distortion rectification based on the classical observation that straight lines in 3D space should be still straight in image planes. Specifically, the proposed LaRecNet contains three sequential modules to (1) learn the distorted straight lines from fisheye images; (2) estimate the distortion parameters from the learned heatmaps and the image appearance; and (3) rectify the input images via a proposed differentiable rectification layer. To better train and evaluate the proposed model, we create a synthetic line-rich fisheye (SLF) dataset that contains the distortion parameters and well-annotated distorted straight lines of fisheye images. The proposed method enables us to simultaneously calibrate the geometric distortion parameters and rectify fisheye images. Extensive experiments demonstrate that our model achieves state-of-the-art performance in terms of both geometric accuracy and image quality on several evaluation metrics. In particular, the images rectified by LaRecNet achieve an average reprojection error of 0.33 pixels on the SLF dataset and produce the highest peak signal-to-noise ratio (PSNR) and structure similarity index (SSIM) compared with the groundtruth.

연구 동기 및 목표

• 3D 캘리브레이션 패턴이나 수동 2D-3D 대응 관계에 의존하지 않고 볼록광선 왜곡 보정 문제를 해결하기 위해.
• 3차원에서의 직선이 2차원 이미지에서도 직선으로 유지되는 기하학적 불변성을 딥러닝의 감독 신호로 활용하기 위해.
• 단일 볼록광선 이미지에서 왜곡 매개변수를 동시 추정하고 이미지를 보정하는 자기지도 학습, 엔드 투 엔드 학습 가능한 모델을 개발하기 위해.
• 불확실성 인식 보조 supervision과 다중스케일 특징 학습을 통합하여 실제 환경에서의 강인성과 정확도를 향상시키기 위해.

제안 방법

• 왜곡된 선 인식(DLP) 모듈은 학습된 히트맵을 사용하여 볼록광선 이미지에서 왜곡된 선 세그먼트를 검출하고 인코딩한다.
• 다중스케일 캘리브레이션 모듈은 여러 수신장의 특징을 융합하여 비선형 왜곡에 대한 강인성을 향상시키며, 왜곡 매개변수를 추정한다.
• 미분 가능 보정 레이어는 예측된 왜곡 매개변수를 사용하여 공간 변환을 수행하며, 보정 과정을 통해 역전파가 가능하게 한다.
• 주의 기반 불확실성 정규화(AUR) 모듈은 불확실성 맵을 생성하여 픽셀 단위 손실을 안내하며, 노이즈가 많거나 정확도가 떨어지는 선 주석의 영향을 줄인다.
• 네트워크는 이미지 외관과 학습된 선 기하학을 모두 활용한 기하학적 손실(L_geo)과 픽셀 수준 손실(L_pix)의 조합을 사용하여 훈련된다.
• 감독 훈련과 평가를 가능하게 하기 위해 진짜 왜곡 매개변수와 정밀한 선 주석을 갖춘 새로운 합성 선 다수의 볼록광선(SLF) 데이터셋을 구축한다.

실험 결과

연구 질문

• RQ1 볼록광선 이미지에서의 직선 기반 명시적 기하학적 제약을 딥러닝 모델에 효과적으로 통합하여 왜곡 보정에 활용할 수 있는가?
• RQ2 딥 네트워크가 엔드 투 엔드로 미분 가능한 방식으로 왜곡 매개변수를 동시에 추정하고 이미지를 보정할 수 있는가?
• RQ3 학습된 선 히트맵과 이미지 외관이 정확도 향상에 얼마나 잘 상호보완하는가?
• RQ4 선 주석이 노이즈가 많거나 완벽하지 않을 경우 불확실성 인식 보조 supervision이 성능 향상에 기여하는가?
• RQ5 제안된 방법은 훈련 중에 볼 수 없었던 실제 볼록광선 이미지로 일반화되는가?

주요 결과

• LaRecNet은 새로운 합성 선 다수의 볼록광선(SLF) 데이터셋에서 평균 재투영 오차 0.33 픽셀로 최신 기술 수준 성능을 달성하여 기존 방법을 크게 능가한다.
• 모델은 최고의 피크 신호 대 노이즈 비율(PSNR) 28.46과 구조 유사성 지수-SSIM 0.90를 기록하여 뛰어난 이미지 품질과 구조 무결성을 보여준다.
• 절단 실험 결과 이미지 외관과 학습된 선 히트맵을 결합할 경우 가장 우수한 성능을 내며, 다양한 훈련 전략에서 PSNR가 16.24에서 28.46으로 상승함을 확인하였다.
• 다중스케일 캘리브레이션 모듈은 심한 비선형 왜곡을 다룰 때 정확도를 향상시키며, 정성적·정량적 개선을 통해 그 효과를 입증하였다.
• 기하학적 손실(L_geo)과 불확실성 정규화는 재투영 오차를 크게 감소시키고 구조 일致성을 향상시키며, SSIM 및 RPE 지표 향상을 통해 그 효과를 입증하였다.
• 인터넷에서 확보한 실제 볼록광선 이미지에 대해 잘 일반화되며, 미세조정 없이도 뛰어난 강인성과 실제 적용 잠재력을 보여주었다.