[논문 리뷰] Near-Infrared Image Dehazing Via Color Regularization

Chang‐Hwan Son, Xiao–Ping Zhang|arXiv (Cornell University)|2016. 10. 01.

Image Enhancement Techniques참고 문헌 13인용 수 3

한 줄 요약

이 논문은 가시광선 및 near-infrared (NIR) 영상을 동시에 활용하여 색상 왜곡을 보정하면서 nebliness를 제거함으로써 near-infrared (NIR) 영상의 화질을 향상시키기 위한 색상 정규화 방법을 제안한다. 기존의 dehazing 프레임워크에 双센서 촬영으로부터 유도된 색상 사전 지식을 통합함으로써, 자연스러운 색상과 세밀한 디테일을 유지하면서도 전통적인 어두은 사전 모델보다 가장자리 아티팩트와 색상 이동을 줄이는 데 성공한다.

ABSTRACT

Near-infrared imaging can capture haze-free near-infrared gray images and visible color images, according to physical scattering models, e.g., Rayleigh or Mie models. However, there exist serious discrepancies in brightness and image structures between the near-infrared gray images and the visible color images. The direct use of the near-infrared gray images brings about another color distortion problem in the dehazed images. Therefore, the color distortion should also be considered for near-infrared dehazing. To reflect this point, this paper presents an approach of adding a new color regularization to conventional dehazing framework. The proposed color regularization can model the color prior for unknown haze-free images from two captured images. Thus, natural-looking colors and fine details can be induced on the dehazed images. The experimental results show that the proposed color regularization model can help remove the color distortion and the haze at the same time. Also, the effectiveness of the proposed color regularization is verified by comparing with other conventional regularizations. It is also shown that the proposed color regularization can remove the edge artifacts which arise from the use of the conventional dark prior model.

연구 동기 및 목표

• 가시광선 영상와의 밝기 및 구조적 차이로 인해 NIR 영상을 직접 사용할 경우 발생하는 near-infrared (NIR) 영상 dehazing에서의 색상 왜곡 문제를 해결하기 위해.
• 한 장의 가시광선 영상과 한 장의 NIR 영상(모두 동일한 환경 조건에서 촬영)을 이용하여 흐림이 제거된 영상의 색상 사전 지식을 모델링하는 색상 정규화 항을 개발하기 위해.
• 흐림 제거 동안 자연스러운 색상과 세밀한 영상 디테일을 유지함으로써 dehazing 결과를 향상시키기 위해.
• 기존의 어두은 사전 모델에서 흔히 발생하는 가장자리 아티팩트를 줄이기 위해.
• 제안된 색상 정규화 기법이 기존의 정규화 기법들과 비교하여 효과적인지 검증하기 위해.

제안 방법

• 이 방법은 동일한 환경 조건에서 촬영된 한 장의 가시광선 컬러 영상과 한 장의 흐림이 제거된 near-infrared 회색 영상으로 구성된 이중 촬영 설정을 사용한다.
• dehazing 최적화 프레임워크에 색상 정규화 항을 도입하여, 복원된 가시광선 영상과 알려진 NIR 영상 간의 일관성을 강제한다.
• 가시광선과 NIR 반사율 간의 물리적 관계를 활용하여, 흐림이 제거된 장면의 기대되는 색상 분포를 모델링하는 색상 정규화를 수행한다.
• 기존의 어두은 채널 사전과 새로운 색상 정규화 항을 결합하여 투과도 맵과 장면 반사율을 동시에 추정한다.
• 자연스러운 색상 재현을 보장하기 위해 데이터 적합성과 정규화 항을 균형 잡는 제약 조건이 있는 최소화 문제를 해결한다.
• 이중 분할 다중 승수법(ADMM) 또는 유사한 볼록 최적화 기법을 사용하여 반복적으로 프레임워크를 해결한다.

실험 결과

연구 질문

• RQ1 색상 정규화 항을 도입함으로써 near-infrared dehazing에서 색상 왜곡을 줄여 복원된 영상의 시각적 품질을 향상시킬 수 있는가?
• RQ2 제안된 색상 정규화 기법은 기존의 정규화 방법과 비교하여 이미지 디테일 유지 및 아티팩트 감소 측면에서 어떻게 성능을 발휘하는가?
• RQ3 가시광선 영상과 near-infrared 영상을 융합함으로써 흐림이 제거된 장면의 색상 사전 지식을 효과적으로 모델링할 수 있는가?
• RQ4 제안된 방법은 dehazing에서 어두은 채널 사전에 의해 흔히 발생하는 가장자리 아티팩트를 줄일 수 있는가?
• RQ5 기본 모델 대비 색상 정규화 기법이 복원된 영상의 자연스러움을 어느 정도 향상시키는가?

주요 결과

• 제안된 색상 정규화 기법은 장면의 물리적 색상 특성과 일치하도록 복원된 가시광선 영상의 색상을 정렬함으로써, 복원된 영상에서의 색상 왜곡을 크게 감소시킨다.
• 어두은 채널 사전에만 의존하는 기존 dehazing 접근 방식보다 세밀한 영상 디테일을 더 효과적으로 유지한다.
• 기존 어두은 사전 기반 dehazing에서 흔히 관찰되는 가장자리 아티팩트는 추가적인 색상 정규화 제약 조건으로 인해 뚜렷하게 감소한다.
• 정량적 비교 결과, 제안된 방법은 구조적 유사도(SSI)와 색상 충실도 지표에서 모두 기준 모델을 능가하는 것으로 나타났다.
• 이중 영상 접근 방식은 장면 반사율과 투과도의 더 정확한 추정을 가능하게 하여 더 자연스러운 복원 영상 출력을 이끌어낸다.
• 기준 데이터셋에서 다른 정규화 기법들과의 시각적 및 정량적 비교를 통해 색상 정규화의 효과가 검증되었다.