[논문 리뷰] Pyramid Fusion Dark Channel Prior for Single Image Dehazing

Qiyuan Liang, Bin Zhu외 1명|arXiv (Cornell University)|2021. 05. 21.

Image Enhancement Techniques참고 문헌 22인용 수 4

한 줄 요약

이 논문은 다중 척도 이미지에서 전달 지도를 가중치 기반 융합 전략을 사용해 전통적인 다크 채널 프리오르(DCP)를 개선한 피라미드 융합 다크 채널 프리오르(PF-DCP)를 제안한다. 수동적인 패치 크기 선택이 필요 없고 허브 아티팩트를 감소시켜 전통적 방법 중 최고 수준의 성능을 달성하며, 딥 러닝 접근법과도 맞먹는 성능을 보이며 RESIDE SOTS에서 PSNR 23.07과 SSIM 0.91의 성능을 기록한다.

ABSTRACT

In this paper, we propose the pyramid fusion dark channel prior (PF-DCP) for single image dehazing. Based on the well-known Dark Channel Prior (DCP), we introduce an easy yet effective approach PF-DCP by employing the DCP algorithm at a pyramid of multi-scale images to alleviate the problem of patch size selection. In this case, we obtain the final transmission map by fusing transmission maps at each level to recover a high-quality haze-free image. Experiments on RESIDE SOTS show that PF-DCP not only outperforms the traditional prior-based methods with a large margin but also achieves comparable or even better results of state-of-art deep learning approaches. Furthermore, the visual quality is also greatly improved with much fewer color distortions and halo artifacts.

연구 동기 및 목표

• 다크 채널 프리오르(DCP)의 패치 크기 선택이라는 핵심적 제약을 해결함으로써 전달 지도 정확도와 화이트닝 품질을 향상시키기 위해.
• 다중 척도 이미지 피라미드를 활용해 전통적 화이트닝 방법의 강건성과 성능을 향상시키기 위해.
• 가중치 기반 융합 전략을 통해 DCP 기반 방법에서 흔히 발생하는 색상 왜곡과 허브 아티팩트를 감소시키기 위해.
• 대규모 학습이 필요 없이도 딥 러닝 모델 수준의 성능을 달성하면서도 해석 가능성은 유지하기 위해.
• 실세계 화이트닝 응용 분야에서 블랙박스 딥 러닝 모델에 비해 계산 비용이 적고 설명 가능하며 강건한 대안을 제공하기 위해.

제안 방법

• 입력 화이트닝 이미지에서 다중 척도 이미지 피라미드를 구축하여 다양한 해상도의 특징을 캡처한다.
• 각 피라미드 수준에서 독립적으로 다크 채널 프리오르(DCP)를 적용하여 전달 지도를 계산한다.
• 장면 유형(실내/실외)에 따라 최적화된 가중치를 사용하는 반복적 가중치 기반 융합 전략을 통해 다양한 척도의 전달 지도를 융합한다.
• 융합된 전달 지도와 표준 대기 산란 모델을 사용하여 대기 빛을 추정하고, 화이트닝되지 않은 이미지를 복원한다.
• RESIDE 훈련 세트에서의 경험적 평가를 통해 실내 장면에 대해 4:1, 실외 장면에 대해 80:1의 고정된 융합 가중치 비율을 도출한다.
• 다중 척도 융합을 통해 고주파 수준의 세부 정보를 유지함으로써 이미지 선명도를 유지하고 아티팩트를 감소시킨다.

실험 결과

연구 질문

• RQ1 전달 지도의 다중 척도 융합이 단일 이미지 화이트닝에서 다크 채널 프리오르의 정확도와 강건성 향상에 기여하는가?
• RQ2 패치 크기 선택이 DCP의 성능에 미치는 영향은 무엇이며, 다중 척도 융합을 통해 이 의존성을 제거할 수 있는가?
• RQ3 PF-DCP와 같이 전통적이고 딥 러닝 기반 아닌 방법이 최근의 딥 러닝 기반 화이트닝 모델의 성능을 어느 정도 따라잡거나 초월할 수 있는가?
• RQ4 제안된 가중치 기반 융합 전략은 기존 DCP에 비해 허브 아티팩트와 색상 왜곡을 줄이는가?
• RQ5 PF-DCP는 대규모 훈련 데이터가 필요 없이 최소한의 계산 오버헤드로 고품질 화이트닝을 달성할 수 있는가?

주요 결과

• PF-DCP는 RESIDE SOTS 벤치마크에서 PSNR 23.07과 SSIM 0.91의 성능을 기록하여 DCP, BCCR, CAP, NLD와 같은 전통적 프리오르 기반 방법을 모두 능가한다.
• 허브 아티팩트와 색상 왜곡을 크게 감소시켜 기존 DCP에 비해 더 자연스럽고 매력적인 시각적 품질의 화이트닝 이미지를 제공한다.
• 학습이 불필요하고 해석 가능한 방법임에도 불구하고, GFN과 EPDN과 같은 최신 딥 러닝 기반 모델과 비교해 유사한 성능을 달성한다.
• 실내 장면에 4:1, 실외 장면에 80:1의 융합 가중치 비율이 최적의 성능을 내며, 장면 유형에 따른 융합 전략의 민감성을 입증한다.
• PF-DCP의 계산 비용은 DCP 대비 평균 30% 증가에 그쳐 실시간 응용 분야에서 효율적이고 실용적이다.
• PF-DCP는 높은 이미지 선명도와 세부 정보 유지 능력을 유지하여, 많은 프리오르 기반 및 딥 러닝 기반 화이트닝 방법에서 흔히 발생하는 흐림 현상을 방지한다.