[논문 리뷰] Haze Visibility Enhancement: A Survey and Quantitative Benchmarking

Yu Li, Shaodi You외 2명|arXiv (Cornell University)|2016. 07. 21.

Image Enhancement Techniques인용 수 17

한 줄 요약

이 논문은 단일 이미지 화소 제거 기법에 대한 종합적인 서베이와 정량적 벤치마크를 제시하며, 물리적 정확도에 대한 참값을 갖는 새로운 합성 데이터셋을 사용하여 성능을 평가한다. 학습 기반 기법들인 Fattal (2014)과 Berman (2016)이 다른 기법들보다 뛰어난 성능을 보이며, 어두운 채널 우선 원칙은 농후한 안개에서 강력한 내구성을 보이고 있으나, 감마 보정과 카메라 비선형성은 여전히 물리적 정확성의 핵심 과제로 남아 있다.

ABSTRACT

This paper provides a comprehensive survey of methods dealing with visibility enhancement of images taken in hazy or foggy scenes. The survey begins with discussing the optical models of atmospheric scattering media and image formation. This is followed by a survey of existing methods, which are grouped to multiple image methods, polarizing filters based methods, methods with known depth, and single-image methods. We also provide a benchmark of a number of well known single-image methods, based on a recent dataset provided by Fattal and our newly generated scattering media dataset that contains ground truth images for quantitative evaluation. To our knowledge, this is the first benchmark using numerical metrics to evaluate dehazing techniques. This benchmark allows us to objectively compare the results of existing methods and to better identify the strengths and limitations of each method.

연구 동기 및 목표

• 안개가 낀 장면에 대한 시야 향상 기법에 대한 체계적인 서베이를 제공하며, 다중 이미지, 투과 필터, 깊이 정보가 있는, 그리고 단일 이미지 기법을 포함한다.
• 화소 제거 기법에 대한 정량적 평가 부족 문제를 해결하기 위해 참값 이미지를 갖는 벤치마크를 도입하여 객관적인 비교를 가능하게 한다.
• 신뢰할 수 있는 정량적 평가를 가능하게 하기 위해 참값으로 정의된 청소된 이미지와 다양한 안개 수준을 갖는 새로운 물리 기반 합성 데이터셋을 생성한다.
• Fattal의 데이터셋과 새로운 벤치마크에서 수치적 지표를 사용하여 주요 단일 이미지 화소 제거 기법의 성능을 평가한다.
• 기존 기법들의 강점, 한계, 실용적 트레이드오프, 특히 내구성과 물리적 타당성 측면에서의 특성을 규명한다.

제안 방법

• 안개의 감쇠를 시뮬레이션하기 위해 대기 산란 모델 (I = J * t + A * (1 - t)) 을 기초로 사용하며, 여기서 J는 장면의 복사율, t는 투과율, A는 대기 빛이다.
• Fattal의 데이터셋 [1] 을 활용하고, 물리 기반 렲영을 사용하여 공간적으로 변화하는 안개를 시뮬레이션하는 새로운 합성 산란 매체 데이터셋을 생성한다.
• 청소된 이미지와의 비교를 위해 평균 절대 차이(MAD)와 같은 정량적 지표를 적용한다.
• 어두운 채널 우선 원칙(He et al.)과 Fattal (2008), Berman (2016), 학습 기반 접근법(Tang et al., Cai et al.)을 포함한 12개의 대표적인 단일 이미지 화소 제거 기법을 평가한다.
• 평가 파이프라인에 톤 매핑과 감마 보정 고려 사항을 통합하여 물리적 정확성에 미치는 영향을 평가한다.
• 다양한 안개 밀도에서 제어된 조건 하에서 객관적이고 재현 가능한 비교를 가능하게 하는 벤치마크 프레임워크를 사용한다.

실험 결과

연구 질문

• RQ1 통제된 물리적 시뮬레이션된 안개 조건 하에서 참값 이미지에 기반한 평가 시, 다양한 화소 제거 기법의 정량적 성능은 어떻게 되는가?
• RQ2 다양한 안개 밀도에서 기반 기반 기법(예: 어두운 채널 우선 원칙)과 학습 기반 기법의 상대적 강점과 약점은 무엇인가?
• RQ3 감마 보정 또는 카메라 비선형성은 화소 제거 결과의 물리적 정확성에 어느 정도 영향을 미치며, 이를 어떻게 적절히 보정할 수 있는가?
• RQ4 어느 정도의 안개 밀도에서 대기 빛이 지배적이고 투과율이 낮아져 장면의 반사율이 회복 불가능해지는가?
• RQ5 참값이 있는 표준화된 벤치마크는 향후 화소 제거 알고리즘의 평가와 개발을 어떻게 향상시킬 수 있는가?

주요 결과

• 벤치마크 결과에 따르면, Fattal (2014)과 Berman (2016)가 대부분의 테스트 이미지에서 가장 낮은 평균 절대 차이(MAD) 값을 기록했으며, Fattal (2014)는 Flower2 이미지에서 가장 낮은 MAD 0.015를 기록했다.
• 어두운 채널 우선 원칙(He et al., 2009)은 농후한 안개에서 뛰어난 성능을 보였으며, Church 이미지에서 가장 낮은 MAD 0.036, Mansion 이미지에서 0.034를 기록했다.
• Tang et al. (2014)와 Cai et al. (2016)와 같은 학습 기반 기법들은 강력한 성능을 보였지만, 화이트 밸런싱에 민감하여 실제 응용에서의 내구성이 떨어졌다.
• Tarel (2009)과 Ancuti (2013)와 같은 기법들은 높은 MAD 값(예: Church에서 각각 0.173과 0.188)을 보이며 재구성 정확도가 열 劣한 것으로 나타났다.
• 연구는 투과율 추정과 대기 빛 추정이 핵심 요소임을 확인했으며, 매끄러움 제약 조건이 결과를 크게 향상시킨다.
• 분석 결과 두꺼운 안개에서는 투과율이 0.1 이하로 떨어져 장면 반사율이 대기 빛에 의해 심하게 가려져 복구가 점점 어려워지고 물리적으로 제한됨을 확인했다.