[논문 리뷰] Nighttime Haze Removal with Illumination Correction

Jing Zhang, Yang Cao외 1명|arXiv (Cornell University)|2016. 06. 05.

Image Enhancement Techniques참고 문헌 22인용 수 8

한 줄 요약

이 논문은 세 단계 파이프라인을 통해 조명 보정, 색상 보정, 어둠의 채널 사전 기반 탈안개를 조합하여 비균일 조명과 대기 확산 문제를 해결하는 새로운 야간 nebulosity 제거 알고리즘을 제안한다. 이 방법은 실제 및 합성 야간 안개가 있는 이미지에서 낮은 계산 비용으로 균형 잡힌 조명, 정확한 색상 재현, 효과적인 안개 제거를 달성한다.

ABSTRACT

Haze removal is important for computational photography and computer vision applications. However, most of the existing methods for dehazing are designed for daytime images, and cannot always work well in the nighttime. Different from the imaging conditions in the daytime, images captured in nighttime haze condition may suffer from non-uniform illumination due to artificial light sources, which exhibit low brightness/contrast and color distortion. In this paper, we present a new nighttime hazy imaging model that takes into account both the non-uniform illumination from artificial light sources and the scattering and attenuation effects of haze. Accordingly, we propose an efficient dehazing algorithm for nighttime hazy images. The proposed algorithm includes three sequential steps. i) It enhances the overall brightness by performing a gamma correction step after estimating the illumination from the original image. ii) Then it achieves a color-balance result by performing a color correction step after estimating the color characteristics of the incident light. iii) Finally, it remove the haze effect by applying the dark channel prior and estimating the point-wise environmental light based on the previous illumination-balance result. Experimental results show that the proposed algorithm can achieve illumination-balance and haze-free results with good color rendition ability.

연구 동기 및 목표

• 인공 조명원으로 인한 비균일 조명으로 인해 기존 탈안개 방법이 야간 안개가 있는 이미지에서 실패하는 데 기인한 한계를 해결하기 위해.
• 인공 조명에 의해 유도되는 비균일 조명과 대기 안개 효과를 모두 고려한 새로운 영상 모델을 개발하기 위해.
• 야간 풍경에서 균형 잡힌 조명과 정확한 색상 재현을 달성하면서 효과적으로 안개를 제거하기 위해.
• 기존 방법들인 어둠의 채널 사전 및 히스토그램 균형화보다 뛰어난 성능을 보이며 단일 이미지 야간 탈안개에 대해 계산 비용이 낮은 솔루션을 제공하기 위해.

제안 방법

• 입력 이미지로부터 조명을 추정하고 감마 보정을 적용하여 전체 밝기를 향상시킨다.
• 입사광의 색상 특성을 추정하고 색상 보정을 수행하여 균형 잡힌 색상 재현을 달성한다.
• 조명 균형을 맞춘 결과를 기반으로 점별 환경광 추정을 수행하여 어둠의 채널 사전을 사용해 안개 제거를 수행한다.
• 가이드 필터 기반 접근 방식을 활용하여 탈안개 과정에서 국소 대비를 유지하고 노이즈를 감소시킨다.
• 조명과 투과율에 대해 조각별 연속성 가정을 사용하여 국소 변동을 정확히 모델링한다.
• 조명 보정, 색상 보정, 안개 제거의 세 단계로 순차적으로 이미지를 처리하여 안정성과 정확도를 확보한다.

실험 결과

연구 질문

• RQ1 야간 풍경에서 인공 조명원으로 인한 비균일 조명을 효과적으로 모델링하고 보정할 수 있는가?
• RQ2 복잡한 조명 조건을 가진 야간 안개가 있는 이미지에 직접 어둠의 채널 사전를 적용할 경우, 그 실패 정도는 어느 정도인가?
• RQ3 조명 보정, 색상 보정, 탈안개를 조합한 세 단계 파이프라인은 야간 이미지의 시각적 품질과 색상 충실도를 향상시킬 수 있는가?
• RQ4 히스토그램 균형화 및 최신 기술과 비교할 때, 제안된 방법은 색상 정확도와 세부 정보 유지 측면에서 어떤가?

주요 결과

• 어둠의 채널 사전를 직접 적용한 경우 실패하는 데 비해, 제안된 방법은 어둠의 채널 사전의 직접 적용에 비해 조명 균형과 안개 제거 측면에서 뚜렷한 향상을 달성한다.
• 추정된 입사광 특성 기반 색상 보정은 목표 이미지에 의존하는 방법보다 더 자연스럽고 정확한 색상 재현을 가능하게 한다.
• 세 단계 순차적 접근 방식은 특히 빛의 원천과 같은 밝은 영역에서 흔히 발생하는 과노출 아티팩트를 효과적으로 줄인다.
• 기존 기술들인 [12]보다 우수한 성능을 보이며, 이는 색상 이동을 위해 목표 일광 이미지가 필요하고 시나리오에 특화된 색상을 왜곡할 수 있기 때문이다.
• 실제 및 합성 야간 안개가 있는 이미지에 대한 실험 결과는 세부 정보를 잘 보존하고, 자연스럽고 안개 없는 출력을 달성하는 데서 제안된 방법의 효과성을 입증한다.
• 알고리즘은 높은 품질의 결과를 달성하면서도 낮은 계산 비용을 유지하여 실시간 또는 실용적 구현에 적합하다.