[논문 리뷰] Fast Single Image Dehazing via Multilevel Wavelet Transform based Optimization

Jiaxi He, Frank Xing외 2명|arXiv (Cornell University)|2019. 04. 18.

Image Enhancement Techniques참고 문헌 39인용 수 6

한 줄 요약

이 논문은 다중수준 하르 웨이블릿 변환 기반 최적화(MWTO)를 사용하여 빠르고 고성능의 단일 이미지 화이팅 방법을 제안한다. 대기 밝기 추정을 통해 비볼록이고 이차형인 화이팅 문제를 볼록이고 선형 최적화 문제로 변환하고, 저주파수 웨이블릿 하위대역에만 최적화를 적용함으로써 실시간 성능을 달성하면서도 품질 손실를 최소화하였으며, 속도와 재구성 정밀도 측면에서 최신 기술들을 능가한다.

ABSTRACT

The quality of images captured in outdoor environments can be affected by poor weather conditions such as fog, dust, and atmospheric scattering of other particles. This problem can bring extra challenges to high-level computer vision tasks like image segmentation and object detection. However, previous studies on image dehazing suffer from a huge computational workload and corruption of the original image, such as over-saturation and halos. In this paper, we present a novel image dehazing approach based on the optical model for haze images and regularized optimization. Specifically, we convert the non-convex, bilinear problem concerning the unknown haze-free image and light transmission distribution to a convex, linear optimization problem by estimating the atmosphere light constant. Our method is further accelerated by introducing a multilevel Haar wavelet transform. The optimization, instead, is applied to the low frequency sub-band decomposition of the original image. This dimension reduction significantly improves the processing speed of our method and exhibits the potential for real-time applications. Experimental results show that our approach outperforms state-of-the-art dehazing algorithms in terms of both image reconstruction quality and computational efficiency. For implementation details, source code can be publicly accessed via http://github.com/JiaxiHe/Image-and-Video-Dehazing.

연구 동기 및 목표

• 기존 단일 이미지 화이팅 방법에서 흔히 발생하는 계산 비효율성과 품질 저하(예: 할로, 과포화) 문제를 해결한다.
• 화이팅 제거 문제의 비볼록이고 이차형 성질을 재구성하여 볼록 최적화 문제로 변환함으로써 문제를 해결한다.
• 다중수준 이산 하르 웨이블릿 변환(DHWT)을 활용한 차원 축소를 통해 실시간 화이팅을 가능하게 한다.
• 저주파수 하위대역에만 최적화를 적용하여 높은 화이팅 품질과 낮은 계산 비용을 동시에 달성한다.
• 추가 데이터(예: 깊이 또는 투과성 이미지)에 의존하지 않는 확장 가능하고 물리적으로 타당한 해결책을 제공한다.

제안 방법

• 대기 산란 모델을 사용하여 이미지 화이팅 문제를 수식화하고, 화이팅이 없는 이미지와 투과도 지도를 미지수로 간주한다.
• 비볼록이고 이차형인 문제를 볼록이고 선형 최적화 문제로 변환하기 위해 대기 밝기 상수를 추정한다.
• 이산 하르 웨이블릿 변환(DHWT)을 적용하여 입력 이미지를 하위대역으로 분해하고, 저주파수 성분에 최적화를 집중한다.
• 저주파수 하위대역에서 정규화된 최적화를 수행하여 차원이 감소된 상태에서 화이팅이 없는 이미지를 복원한다.
• 역이산 하르 웨이블릿 변환(IDHWT)을 사용하여 최종 화이팅 이미지를 재구성한다.
• 다중수준 웨이블릿 분해를 활용하여 심각한 차원 축소를 달성하고, 처리 속도를 향상시키면서도 핵심 구조 정보를 유지한다.

실험 결과

연구 질문

• RQ1 비볼록이고 이차형인 화이팅 문제를 효과적으로 볼록 최적화 문제로 변환할 수 있는가? 이는 안정성과 수렴성 향상에 기여하는가?
• RQ2 다중수준 하르 웨이블릿 변환은 화이팅 품질을 손상시키지 않으면서 계산 복잡도를 어느 정도 감소시킬 수 있는가?
• RQ3 전체 이미지 최적화와 비교해 볼 때, 저주파수 하위대역에만 최적화를 적용하는 것이 속도와 시각적 정밀도 측면에서 어떤가?
• RQ4 제안된 방법은 표준 이미지 및 영상에서 실시간 성능을 달성하면서도 최신 수준의 재구성 품질을 유지할 수 있는가?
• RQ5 기존의 빠른 화이팅 알고리즘과 비교해 본다면, 이미지 크기와 처리 시간 측면에서 이 방법의 확장성은 어떠한가?

주요 결과

• 제안된 MWTO 방법은 707×565 해상도 이미지에서 처리 시간이 0.8초로, He의 방법(14.5초)과 Berman의 방법(1.6초)보다 빠르며, Berman의 평균 시간의 28%에 불과하다.
• I-HAZE 및 O-HAZE 데이터셋에서, 실내 화이팅의 경우 PSNR가 16.619, 실외 화이팅의 경우 15.347를 기록하여 He의 방법(15.285)과 Meng의 방법(14.574)을 모두 능가한다.
• 이 방법은 이미지 크기에 대해 준선형 복잡도를 보이며, 이미지 크기 기준 O(n) 또는 픽셀 수 기준 O(√n)로, Zhu의 방법과 Berman의 방법과 같은 O(n²) 방법보다 뚜렷이 뛰어나다.
• 실내 영상에서 SSIM 값이 0.619, 실외 영상에서 0.392로 나타나 구조적 정보 보존 능력이 뛰어나며, 특히 실내 환경에서 두드러진다.
• 볼록 최적화 프레임워크와 물리 모델 기반 설계 덕분에 이전 방법에서 흔히 발생하던 과포화 및 할로 아티팩트를 줄였다.
• 더 높은 계산 성능을 갖춘 환경에서 352×240 해상도 영상에서도 실시간 영상 화이팅을 성공적으로 수행하여 실용적 구현 가능성을 입증했다.