[논문 리뷰] Benchmarking Single Image Dehazing and Beyond

Boyi Li, Wenqi Ren외 5명|arXiv (Cornell University)|2017. 12. 12.

Image Enhancement Techniques참고 문헌 69인용 수 32

한 줄 요약

이 논문은 다섯 가지 전문화된 하위세트를 통해 합성 및 실세계 안개 이미지를 포함하는 대규모 벤치마크인 RESIDE를 소개한다. 다양한 지표—완전 기준, 비기준, 주관적 평가 및 과제 기반 평가—를 사용하여 최신의 탈안개 처리 방법을 평가하여, 모든 기준에서 뛰어난 성능을 내는 단일 모델은 존재하지 않음을 밝혀냈다. MSCNN은 검출 성능에서 뛰어나고, AOD-Net은 가장 높은 효율성을 보였다.

ABSTRACT

We present a comprehensive study and evaluation of existing single image dehazing algorithms, using a new large-scale benchmark consisting of both synthetic and real-world hazy images, called REalistic Single Image DEhazing (RESIDE). RESIDE highlights diverse data sources and image contents, and is divided into five subsets, each serving different training or evaluation purposes. We further provide a rich variety of criteria for dehazing algorithm evaluation, ranging from full-reference metrics, to no-reference metrics, to subjective evaluation and the novel task-driven evaluation. Experiments on RESIDE shed light on the comparisons and limitations of state-of-the-art dehazing algorithms, and suggest promising future directions.

연구 동기 및 목표

• 다양한 조건에서 단일 이미지 탈안개 알고리즘을 평가하기 위한 종합적이고 대규모의 벤치마크 부족 문제를 해결하기 위해.
• 전통적인 PSNR 및 SSIM를 초월한 다양한 지표—비기준, 주관적, 과제 기반 평가를 포함—를 사용하여 최신의 탈안개 처리 방법을 평가하기 위해.
• 기존 탈안개 처리 방법의 인지적 품질, 실세계 안개 이미지에 대한 일반화 능력, 그리고 하위 시각 과제에서의 성능 측면에서의 강점과 한계를 규명하기 위해.
• 순수한 재구성 기반 지표보다 인간의 인지와 고수준 과제 성능을 우선시하는 평가 프로토콜을 제안하기 위해.
• 더 강력하고 인지적 품질에 부합하며 적용 중심인 탈안개 처리 모델 개발을 향한 향후 연구를 이끌기 위해.

제안 방법

• 다섯 가지 하위세트를 포함하는 대규모 벤치마크인 RESIDE를 제안한다: 다섯 개인 합성 데이터셋(RESIDE-1부터 -5까지)과 한 개인 실세계 안개 이미지 데이터셋(RTTS), 각각 다른 학습 및 평가 목적을 위해 설계되었다.
• 대기 산란 모델을 물리적 기초로 사용한다: $ I(x) = J(x)t(x) + A(1 - t(x)) $, 여기서 $ J(x) $는 안개가 제거된 이미지, $ A $는 대기 빛, $ t(x) $는 투과도 지도이다.
• 다양한 평가 기준을 적용한다: 완전 기준 지표(PSNR, SSIM), 비기준 지표(SSEQ, BLIINDS-II), 주관적 평가, 그리고 RTTS에서 객체 검출(Faster R-CNN, YOLO-V2, SSD)을 사용한 과제 기반 평가.
• AOD-Net, DehazeNet, MSCNN, FRCNN과 같은 딥러닝 기반 모델을 사용하여 엔드 투 엔드 탈안개 처리 및 검출을 수행하며, 재구성 및 인지적 품질을 최적화한 손실 함수를 적용한다.
• 다양한 지표를 기반으로 한 아블레이션 연구 및 비교 분석을 수행하여 다양한 조건 하에서의 모델 성능을 평가한다.
• 탈안개된 이미지에서 객체 검출 mAP를 측정하여 과제 기반 평가를 도입함으로써, 이미지 품질 지표를 초월한 실세계 활용도를 평가한다.

실험 결과

연구 질문

• RQ1 최신의 탈안개 처리 모델은 PSNR, SSIM, 비기준 지표, 주관적 인식 등 다양한 평가 기준에서 어떻게 성능을 내는가?
• RQ2 합성 데이터로 학습된 탈안개 모델은 실세계 안개 이미지로의 일반화 능력이 어느 정도이며, 이는 하위 시각 과제에 어떤 영향을 미치는가?
• RQ3 이미지 품질, 계산 효율성, 객체 검출과 같은 고수준 시각 과제 성능 사이에서 가장 균형 잡힌 성능을 내는 탈안개 모델은 무엇인가?
• RQ4 기존의 전통적 사전 지식(예: 어둠운 채널, 색상 감쇠)은 딥러닝 기반 방법에 비해 인간의 인지와 얼마나 관련이 깊은가?
• RQ5 객체 검출의 mAP와 같은 과제 기반 평가가 전통적인 이미지 품질 지표보다 더 신뢰성 있고 현실적인 지표로 기능할 수 있는가?

주요 결과

• AOD-Net은 모든 평가된 모델 중에서 가장 높은 효율성을 보이며, 실시간 응용에 적합하다.
• MSCNN은 RTTS 데이터셋에서 가장 뛰어난 검출 성능을 보였으며, SSD-512를 사용해 mAP 47.76을 기록하여 실세계 안개 이미지로의 일반화 능력이 뛰어나다.
• DehazeNet은 가장 낮은 인지적 손실 점수(60.01)를 기록하여 인간 시각 인지와 가장 잘 일치함을 시사한다.
• AOD-Net과 DehazeNet은 PSNR 및 SSIM 지표에서 두각을 나타내며, AOD-Net은 RESIDE-1 하위세트에서 25.20 PSNR를 기록하여 강력한 재구성 품질을 보였다.
• DCP, FVR, BCCR와 같은 전통적 사전 지식 기반 방법은 비기준 지표에서 경쟁력을 보였으며, 예를 들어 BCCR는 BLIINDS-II 점수 74.07을 기록하여 인지적 우월성을 보였다.
• 모델 간에 재구성 정확도, 인지적 품질, 하위 과제 성능 사이의 트레이드오프가 존재함을 확인하여, 단일 모델이 모든 평가 기준에서 뛰어난 성능을 내지 못함을 밝혀냈다.