[논문 리뷰] Realistic Large-Scale Fine-Depth Dehazing Dataset from 3D Videos

Ruoteng Li, Xiaoyi Zhang외 2명|arXiv (Cornell University)|2020. 04. 18.

Image Enhancement Techniques참고 문헌 53인용 수 6

한 줄 요약

이 논문은 고해상도 3D 영화에서 유도된 스테레오 기반 깊이를 사용해 물리적으로 정확한 안개를 렌더링한 대규모이고 현실적인 제거 데이터셋인 LSFD를 소개한다. 이 데이터셋은 제거 모델의 일반화 능력을 크게 향상시키며, RESIDE-OTS에서 미세조정된 최신 기법이 O-Haze 벤치마크에서 PSNR 기준 최대 1.36 dB 향상되어 실제 환경에서의 성능이 뛰어나고 도메인 갭이 감소함을 보여준다.

ABSTRACT

Image dehazing is one of the important and popular topics in computer vision and machine learning. A reliable real-time dehazing method with reliable performance is highly desired for many applications such as autonomous driving, security surveillance, etc. While recent learning-based methods require datasets containing pairs of hazy images and clean ground truth, it is impossible to capture them in real scenes. Many existing works compromise this difficulty to generate hazy images by rendering the haze from depth on common RGBD datasets using the haze imaging model. However, there is still a gap between the synthetic datasets and real hazy images as large datasets with high-quality depth are mostly indoor and depth maps for outdoor are imprecise. In this paper, we complement the existing datasets with a new, large, and diverse dehazing dataset containing real outdoor scenes from High-Definition (HD) 3D movies. We select a large number of high-quality frames of real outdoor scenes and render haze on them using depth from stereo. Our dataset is clearly more realistic and more diversified with better visual quality than existing ones. More importantly, we demonstrate that using this dataset greatly improves the dehazing performance on real scenes. In addition to the dataset, we also evaluate a series state of the art methods on the proposed benchmarking datasets.

연구 동기 및 목표

• 고품질 깊이 맵을 갖춘 현실적이고 대규모이며 다양한 외부 제거 데이터셋의 부족을 해결하기 위해.
• 실제 3D 영화 영상과 정확한 스테레오 깊이를 활용하여 합성 데이터셋과 실제 안개가 낀 이미지 사이의 도메인 갭을 극복하기 위해.
• 더 현실적인 학습 분포를 통해 딥 러닝 기반 제거 모델의 일반화 능력과 실제 환경 성능을 향상시키기 위해.
• 실제 외부 조건을 더 잘 반영하는 데이터셋을 통해 제거 모델 평가를 위한 벤치마크를 제공하기 위해.

제안 방법

• 1920×1080 해상도와 총 40시간 분량의 22편의 고해상도 3D 영화에서 2,000개의 고품질 실외 프레임을 선별한다.
• 다중 시점 스테레오 복원 기법을 사용해 스테레오 쌍에서 조밀하고 정확한 깊이 맵을 생성하여 물리적 타당성을 확보한다.
• Koschmieder의 대기 산산모델 (I(x) = J(x)e^(-βd(x)) + A(1 - e^(-βd(x))))을 적용하여 추정된 깊이와 대기 빛을 사용해 현실적인 안개를 렌더링한다.
• 대기 빛 추정에 MaxRGB를 사용하고, 사전 훈련된 광학 흐름 모델을 활용해 깊이 생성을 지원하여 일관성과 현실감을 확보한다.
• 도시 스카이라인과 복잡한 깊이 구조를 포함한 다양한 실외 환경을 담은 고해상도 데이터셋을 구축한다.
• O-Haze 및 기타 실제 데이터셋에서의 성능 비교를 통해, LSFD에서 최신 제거 모델을 훈련하고 평가함으로써 벤치마크를 설정한다.

실험 결과

연구 질문

• RQ1 실제 3D 영화에서 유도된 대규모이고 현실적인 제거 데이터셋이 실제 외부 환경에서 딥 러닝 기반 제거 모델의 일반화 능력을 향상시킬 수 있는가?
• RQ2 제거 데이터셋의 깊이 맵 품질과 현실성은 모델 성능과 도메인 일반화에 어떤 영향을 미치는가?
• RQ3 물리적으로 정확한 스테레오 기반 깊이를 갖춘 데이터셋에서 훈련하면, 추정된 깊이를 갖춘 합성 데이터셋보다 실제 안개가 낀 이미지에서 더 뛰어난 성능을 내는가?
• RQ4 기존의 벤치마크인 RESIDE-OTS와 O-Haze와 비교할 때, 제안된 LSFD 데이터셋은 모델의 일반화 능력과 정량적 지표 측면에서 어떻게 다른가?

주요 결과

• LSFD 데이터셋에서 훈련된 모델은 O-Haze 벤치마크에서 PSNR 16.65, SSIM 0.6380을 기록했으며, RESIDE-OTS에서 훈련된 모델(PSNR: 14.55, SSIM: 0.5357)을 초월했다.
• LSFD에서 훈련된 4K Dehazing 모델은 O-Haze에서 PSNR 17.01, SSIM 0.6836을 기록했고, RESIDE-OTS에서 훈련된 모델(PSNR: 15.36, SSIM: 0.5792)보다 뚜렷한 성능 향상을 보였다.
• 그림 7의 시각적 비교 결과, LSFD에서 훈련된 모델은 더 선명하고 자연스러운 복원 결과를 생성하며 세부 사항과 질감을 더 잘 유지함을 확인했다.
• LSFD에서 훈련된 모델과 RESIDE-OTS에서 훈련된 모델 간의 성능 격차는 기존 외부 데이터셋에서 낮은 품질의 깊이로 인한 도메인 이동 현상을 드러낸다.
• LSFD 데이터셋은 더 높은 다양성과 낮은 과적합을 보이며, RESIDE-β에 비해 더 낮은 PSNR/SSIM 포화 수준을 통해 더 넓은 일반화 능력을 보여준다.
• 벤치마크 결과는 LSFD가 실제 외부 조건을 더 잘 반영하고 있음을 보여주며, 제거 연구 분야에서 더 나은 훈련 및 평가 자원임을 입증한다.