[논문 리뷰] GridDehazeNet: Attention-Based Multi-Scale Network for Image Dehazing

Xiaohong Liu, Yongrui Ma외 2명|ArXiv.org|2019. 08. 08.

Image Enhancement Techniques참고 문헌 40인용 수 133

한 줄 요약

GridDehazeNet은 대기 산란 모델에 의존하지 않고 학습 가능한 전처리 모듈, 주의 기반 다중 스케일 그리드 백본, 그리고 후처리 단계를 사용하는 단일 이미지 디헤이징을 위한 엔드투엔드 CNN으로 최첨단 방법을 능가합니다.

ABSTRACT

We propose an end-to-end trainable Convolutional Neural Network (CNN), named GridDehazeNet, for single image dehazing. The GridDehazeNet consists of three modules: pre-processing, backbone, and post-processing. The trainable pre-processing module can generate learned inputs with better diversity and more pertinent features as compared to those derived inputs produced by hand-selected pre-processing methods. The backbone module implements a novel attention-based multi-scale estimation on a grid network, which can effectively alleviate the bottleneck issue often encountered in the conventional multi-scale approach. The post-processing module helps to reduce the artifacts in the final output. Experimental results indicate that the GridDehazeNet outperforms the state-of-the-arts on both synthetic and real-world images. The proposed hazing method does not rely on the atmosphere scattering model, and we provide an explanation as to why it is not necessarily beneficial to take advantage of the dimension reduction offered by the atmosphere scattering model for image dehazing, even if only the dehazing results on synthetic images are concerned.

연구 동기 및 목표

• 대기 산란 모델에 대한 엄격한 의존 없이 디헤이징의 필요성을 제기한다.
• 다양한 학습 입력을 생성하기 위한 학습 가능한 전처리 모듈을 도입한다.
• 효율적인 다중 스케일 정보 교환을 가능하게 하는 주의 기반 그리드 백본을 개발한다.
• 출력 아티팩트를 줄이기 위한 후처리 단계를 포함한다.
• 합성 및 실제 세계의 흐릿한 이미지에서 최첨단 성능을 입증한다.

제안 방법

• 헤이즈 이미지를 16개의 학습 입력으로 변환하는 학습 가능한 전처리 모듈.
• 3행 6열의 격자 기반 백본으로 촘촘한 크로스 스케일 정보 교환 가능.
• 행/열 스트림에서 다중 스케일 특징을 융합하기 위한 채널 단위 주의.
• 최종 디헤이즈된 이미지에서 아티팩트를 억제하는 후처리 모듈.
• 손실은 lambda=0.04인 Conv1-2, Conv2-2, Conv3-3 계층의 VGG16 특징을 사용하는 지각 손실과 매끈한 L1 손실을 결합한다.

실험 결과

연구 질문

• RQ1 완전히 학습 가능한 디헤이징 네트워크가 합성 및 실제 흐릿한 이미지에서 모델 기반 및 다른 데이터 기반 방법을 능가할 수 있는가?
• RQ2 격자 기반의 주의 주도 다중 스케일 백본이 인코더-디코더나 표준 다중 스케일 네트워크보다 스케일 병목 현상을 더 잘 처리하는가?
• RQ3 합성 데이터에서도 디헤이징을 위해 대기 산란 모델을 우회하는 것이 유리한가?
• RQ4 학습된 전처리 입력이 수작업으로 만들거나 파생된 입력에 비해 다양성 이점을 제공하는가?

주요 결과

• SOTS 실내/실외 및 Sun RGB-D 데이터셋에서 PSNR/SSIM 기준으로 최첨단 방법을 능가한다.
• 학습 입력은 파생 입력에 비해 다양성 이점을 제공하여 성능을 향상시킨다.
• 주의 기반 융합을 가진 GridDehazeNet이 아티팩트 감소를 포함한 최상의 정성적/정량적 결과를 산출한다.
• 대기 산란 모델을 우회하는 것이 간접 모델 기반 추정보다 더 나은 최적화 표면과 디헤이징 성능을 얻을 수 있다.
• 적절한 분석은 전체 모델 구성 요소들(격자 백본, 주의 융합, 후처리, 지각 손실)가 각각 성능 향상에 기여함을 보여준다.