[논문 리뷰] RESIDE: A Benchmark for Single Image Dehazing.

Boyi Li, Wenqi Ren외 5명|arXiv (Cornell University)|2017. 12. 12.

Image Enhancement Techniques참고 문헌 10인용 수 70

한 줄 요약

이 논문은 다섯 가지 전문화된 서브셋을 통해 합성 및 실제 세계의 안개가 낀 이미지를 포함하는 단일 이미지 안개 제거를 위한 대규모 벤치마크인 RESIDE를 소개한다. 다양한 평가 지표—완전 기반, 비기반, 주관적 평가 및 임무 기반 평가—를 사용하여 최신 안개 제거 알고리즘을 평가함으로써 알고리즘의 한계를 드러내고 향후 연구 방향을 안내한다.

ABSTRACT

In this paper, we present a comprehensive study and evaluation of existing single image dehazing algorithms, using a new large-scale benchmark consisting of both synthetic and real-world hazy images, called REalistic Single Image DEhazing (RESIDE). RESIDE highlights diverse data sources and image contents, and is divided into five subsets, each serving different training or evaluation purposes. We further provide a rich variety of criteria for dehazing algorithm evaluation, ranging from full-reference metrics, to no-reference metrics, to subjective evaluation and the novel task-driven evaluation. Experiments on RESIDE sheds light on the comparisons and limitations of state-of-the-art dehazing algorithms, and suggest promising future directions.

연구 동기 및 목표

• 단일 이미지 안개 제거 알고리즘을 평가하기 위한 종합적이고 대규모의 벤치마크가 부족한 문제를 해결하기 위해.
• 다양한 데이터 원천과 이미지 컨텐츠를 하나의 벤치마크에 통합하여 알고리즘의 일반화 능력과 평가 신뢰도를 향상시키기 위해.
• 완전 기반, 비기반, 주관적 평가 및 임무 기반 지표를 융합한 다면적 평가 프레임워크를 도입하기 위해.
• 실제이고 다양한 안개가 낀 이미지에서 체계적인 평가를 통해 최신 안개 제거 방법의 한계를 규명하기 위해.
• 안개 제거 알고리즘 개발의 격차와 유망한 방향을 드러내어 향후 연구를 이끌기 위해.

제안 방법

• 합성, 실제 세계, 안개 농도 변동이 있는 실제 세계, 다양한 환경이 포함된 실제 세계, 쌍으로 제공된 클리어 이미지가 있는 실제 세계로 구성된 다섯 가지 별도의 서브셋을 가진 RESIDE 벤치마크를 구축하기 위해.
• 완전 기반 지표(예: PSNR, SSIM), 비기반 지표(예: NIQE, BRISQUE), 주관적 평가 및 새로운 임무 기반 평가를 포함한 다중 평가 기준을 통합하기 위해.
• 다양한 기상 조건과 환경에서 촬영한 실제 세계의 안개가 낀 이미지를 사용하여 현실성과 다양성을 확보하기 위해.
• 물리 기반 안개 모델을 통해 합성된 안개가 낀 이미지를 생성하여 안개 밀도와 장면 컨텐츠를 제어하기 위해.
• 모든 서브셋에서 표준화된 평가 프로토콜을 적용하여 공정하고 재현 가능한 비교를 보장하기 위해.
• 객체 검출 및 세그멘테이션과 같은 후행 작업에서의 안개 제거 성능을 평가함으로써 임무 기반 평가를 통합하기 위해.

실험 결과

연구 질문

• RQ1 최신 안개 제거 알고리즘이 다양한 실제 세계 및 합성 안개가 낀 이미지 분포에서 어떻게 성능을 내는가?
• RQ2 비기반 지표와 완전 기반 지표가 인간의 인지와 후행 작업 성능과 얼마나 관련이 있는가?
• RQ3 실제 세계 데이터에서 다양한 안개 농도와 장면 유형에 대해 안개 제거 알고리즘이 어떻게 일반화되는가?
• RQ4 주관적 평가 및 임무 기반 기준에서 평가했을 때 현재의 안개 제거 모델의 한계는 무엇인가?
• RQ5 어느 평가 지표가 안개 제거 결과의 실제 세계 성능과 인간 선호도를 가장 잘 예측하는가?

주요 결과

• 최신 안개 제거 알고리즘은 합성 데이터에 비해 실제 세계의 안개가 낀 이미지에서 성능이 크게 떨어지며, 이는 도메인 갭을 시사한다.
• NIQE와 BRISQUE와 같은 비기반 지표는 인간의 인지와 제한된 상관관계를 보이며, 안개 제거 품질 평가에서의 한계를 드러낸다.
• 주관적 평가 결과, 인간 관찰자는 완전 기반 지표가 열 劣한 경우에도 구조적 보존이 잘 된 이미지를 선호하는 것으로 나타났다.
• 임무 기반 평가 결과, 안개 제거 품질이 객체 검출 및 세그멘테이션과 같은 후행 작업 성능에 직접적인 영향을 미친다.
• PSNR나 SSIM을 최적화하기 위해 설계된 알고리즘은 종종 미세한 디테일과 텍스처를 손상시켜 과도하게 매끄럽게 된 출력을 만들어내며, 이는 실제 응용에서 품질을 떨어뜨린다.
• 본 연구는 다양한 평가 기준과 실제 세계 조건에서 잘 작동하는 더 견고하고 일반화 능력이 뛰어난 안개 제거 모델의 필요성을 규명한다.