[논문 리뷰] Multi-Scale Boosted Dehazing Network with Dense Feature Fusion

Hang Dong, Jinshan Pan외 5명|arXiv (Cornell University)|2020. 04. 28.

Image Enhancement Techniques참고 문헌 59인용 수 63

한 줄 요약

이 논문은 SOS 부스트업을 이용한 U-Net 기반 디헤이즈 네트워크 MSBDN-DFF를 제시하며, 백 프로젝션에서 영감을 받은 dense feature fusion으로 여러 흐림 이미지 벤치마크에서 최첨단 방법을 능가합니다.

ABSTRACT

In this paper, we propose a Multi-Scale Boosted Dehazing Network with Dense Feature Fusion based on the U-Net architecture. The proposed method is designed based on two principles, boosting and error feedback, and we show that they are suitable for the dehazing problem. By incorporating the Strengthen-Operate-Subtract boosting strategy in the decoder of the proposed model, we develop a simple yet effective boosted decoder to progressively restore the haze-free image. To address the issue of preserving spatial information in the U-Net architecture, we design a dense feature fusion module using the back-projection feedback scheme. We show that the dense feature fusion module can simultaneously remedy the missing spatial information from high-resolution features and exploit the non-adjacent features. Extensive evaluations demonstrate that the proposed model performs favorably against the state-of-the-art approaches on the benchmark datasets as well as real-world hazy images.

연구 동기 및 목표

• priors가 신뢰할 수 없는 다양한 장면에 대해 강건한 디헤이징을 동기부여합니다.
• 노이즈 피드백과 함께 부스트를 결합한 네트워크를 설계하여 점진적인 안개 제거를 수행합니다.
• 다층 간 공간 정보를 회복하기 위한 Dense Feature Fusion 모듈을 개발합니다.

제안 방법

• Decoder에서 Strengthen-Operate-Subtract (SOS) 부스트를 적용하여 점진적으로 안개 없는 이미지를 회복합니다.
• Multi-scale 특징을 융합하고 공간 정보를 회복하기 위해 back-projection 기반 Dense Feature Fusion (DFF) 모듈을 도입합니다.
• Skip 연결과 잔여 그룹을 포함한 인코더–디코더(U-Net) 아키텍처를 사용하여 특징 복원을 수행합니다.
• MSBDN-DFF를 평균 제곱 오차 손실로 엔드-투-엔드 학습합니다.
• RESIDE, HazeRD, NTIRE2018-디헤이징 데이터셋에서 평가하고 최첨단 방법과 비교합니다.

실험 결과

연구 질문

• RQ1 디코더의 SOS 기반 부스트가 비부스트드 디코더에 비해 디헤이징 품질을 향상시키는가?
• RQ2 Dense back-projection 기반 특징 융합이 다중 스케일 정보를 효과적으로 결합해 흐릿한 이미지의 공간 상세를 보존하는가?
• RQ3 MSBDN-DFF는 표준 벤치마크에서 다른 엔드-투-엔드 디헤이징 네트워크에 비해 어떤 성능을 보이는가?
• RQ4 DFF 모듈이 고주파 상세 및 비인접 특징 활용에 미치는 영향은 무엇인가?

주요 결과

• MSBDN-DFF는 정성적·정량적 평가에 따라 벤치마크 데이터셋에서 여러 최첨단 디헤이징 방법을 능가합니다.
• SOS 부스트 디코더는 베이스라인 및 대체 부스트 전략에 비해 실질적인 향상을 제공합니다.
• DFF 모듈은 공간 정보를 효과적으로 보존하고 비인접 특징을 활용하여 회복 품질을 높입니다.
• ablation 연구는 부스트와 Dense Feature Fusion이 성능 향상에 모두 크게 기여함을 보여줍니다.
• KITTI 기반의 안개 데이터셋에 대한 지각적 평가에서 디헤이즈된 영상의 객체 탐지 성능이 향상되었습니다.