[논문 리뷰] FishEyeRecNet: A Multi-Context Collaborative Deep Network for Fisheye Image Rectification

Xiaoqing Yin, Xinchao Wang외 4명|arXiv (Cornell University)|2018. 04. 13.

Optical measurement and interference techniques참고 문헌 14인용 수 6

한 줄 요약

이 논문은 저수준의 외관 특징과 고수준의 의미적 세그멘테이션을 융합하여 왜곡 매개변수를 동시 추정하고 피시아이미지 정규화를 수행하는 엔드 투 엔드 딥 러닝 프레임워크인 FishEyeRecNet을 제안한다. 의미 지도의 다중 컨텍스트 공동 네트워크를 활용함으로써, 합성 및 실세계 피시아이미지 데이터셋에서 최신 기술을 초월하는 성능을 달성하였으며, 수동으로 설계된 특징 기반 기존 방법에 비해 정량적 지표와 정성적 결과 모두에서 뛰어난 성능을 보였고, 동시에 실시간 추론 속도도 유지하였다.

ABSTRACT

Images captured by fisheye lenses violate the pinhole camera assumption and suffer from distortions. Rectification of fisheye images is therefore a crucial preprocessing step for many computer vision applications. In this paper, we propose an end-to-end multi-context collaborative deep network for removing distortions from single fisheye images. In contrast to conventional approaches, which focus on extracting hand-crafted features from input images, our method learns high-level semantics and low-level appearance features simultaneously to estimate the distortion parameters. To facilitate training, we construct a synthesized dataset that covers various scenes and distortion parameter settings. Experiments on both synthesized and real-world datasets show that the proposed model significantly outperforms current state of the art methods. Our code and synthesized dataset will be made publicly available.

연구 동기 및 목표

• 수동으로 설계된 특징 기반 방법의 한계를 해결하기 위해, 표현 능력이 제한되어 있어 신뢰할 수 없는 결과를 낳는 경향이 있는 피시아이미지 정규화 문제를 다루기 위해.
• 저수준 및 고수준 특징을 모두 활용하여 왜곡 매개변수 추정과 동시에 영상 정규화를 수행하는 엔드 투 엔드 학습이 가능한 딥 신경망을 개발하기 위해.
• 특히 인공 구조물과 천연 물체를 구분하는 데 도움이 되도록, 정규화 과정에 의미 이해를 통합하여 왜곡 보정을 지도하기 위해.
• 효과적인 훈련을 위해 지정된 정규화된 영상과 장면 분할 레이블을 포함한 고품질, 다양한 합성 피시아이미지 데이터셋을 구축하기 위해.
• 가상현실, 감시, 자율주행과 같은 실용적인 컴퓨터 비전 응용 분야에 적합한 실시간 고정밀 정규화를 가능하게 하기 위해.

제안 방법

• 모델은 세 개의 서브넷으로 구성된 다중 컨텍스트 공동 아키텍처를 사용한다: 특징 추출 백본, 고수준 의미를 위한 장면 분할 네트워크, 왜곡 매개변수 추정 네트워크.
• 저수준 특징은 깊은 CNN을 통해 추출되며, 고수준 의미는 장면 분할 브랜치를 통해 학습되어 왜곡 추정을 지도한다.
• 저수준 특징과 의미 지도를 융합하여 왜곡 매개변수를 추정함으로써, 피시아이미지 형성 과정을 더 정확하게 모델링할 수 있다.
• 가능한 왜곡 정규화 레이어는 추정된 매개변수를 사용하여 입력 영상과 장면 분할 맵을 동시에 왜곡 보정한다.
• 합성 데이터셋에서 복원 손실과 세그멘테이션 손실을 조합한 손실 함수를 사용하여 전체 네트워크를 엔드 투 엔드로 훈련한다.
• 합성 데이터셋은 ADE20K에서 다양한 피시아이모델을 적용하고 가변 매개변수를 조절하여 생성되며, 다양성과 현실성 향상에 기여한다.

실험 결과

연구 질문

• RQ1 저수준 및 고수준 특징을 동시에 학습하는 딥 러닝 모델이 전통적인 수동 특징 기반 방법에 비해 피시아이미지 정규화에서 더 우수한 성능을 내는가?
• RQ2 의미 지도는 피시아이미지의 왜곡 매개변수 추정 정확도를 어떻게 향상시키는가?
• RQ3 장면 분할 통합이 복잡한 도시 환경에서 정규화된 영상 품질에 얼마나 기여하는가?
• RQ4 다양한 왜곡 매개변수와 의미 레이블을 포함한 합성 데이터셋이 일반화 가능한 정규화 모델을 효과적으로 훈련시킬 수 있는가?
• RQ5 제안된 엔드 투 엔드, 다중 컨텍스트 공동 네트워크는 고정밀성을 유지하면서도 실시간 추론을 달성하는가?

주요 결과

• 제안된 FishEyeRecNet은 합성 및 실세계 피시아이미지 데이터셋 모두에서 뛰어난 성능을 달성하였으며, PSNR 및 SSIM 지표에서 최신 기술을 초월하였다.
• 의미 지도의 통합은 인공 구조물(예: 건물, 차량)의 직선 경계를 유지하는 데 특히 정규화 품질 향상에 기여하였다.
• 장면 분할 모듈이 없더라도 기존 방법보다 성능이 뛰어나지만, 의미 지도가 추가될수록 성능 향상이 더욱 두드러졌다.
• K80 GPU에서 모델은 1.31초 내에 실행되며, CPU에서 60초 이상 소요되는 반복적 방법 [10] 및 [15]에 비해 현저히 빠르게 작동한다.
• 합성 데이터셋은 효과적인 훈련을 가능하게 하였고, 일반적인 의미 카테고리에 대해 잘 일반화되었지만, 예측되지 않은 클래스에 대한 성능은 여전히 도전 과제이다.
• 다양한 환경와 왜곡 매개변수에 대해 강건성을 보였으며, 복잡한 왜곡을 정확히 보정하는 것으로 확인된 정성적 결과를 제공하였다.