[논문 리뷰] FFA-Net: Feature Fusion Attention Network for Single Image Dehazing

Qin Xu, Zhilin Wang외 3명|arXiv (Cornell University)|2019. 11. 18.

Image Enhancement Techniques참고 문헌 28인용 수 120

한 줄 요약

FFA-Net은 채널 주의와 픽셀 주의력을 결합하고 로컬 잔차 학습 및 적응형 특징 융합으로 단일 이미지 디헤이징 성능을 크게 향상시키는 특징 주의 모듈을 도입합니다. 이는 RESIDE SOTS 데이터셋에서 최첨단 결과를 달성합니다.

ABSTRACT

In this paper, we propose an end-to-end feature fusion at-tention network (FFA-Net) to directly restore the haze-free image. The FFA-Net architecture consists of three key components: 1) A novel Feature Attention (FA) module combines Channel Attention with Pixel Attention mechanism, considering that different channel-wise features contain totally different weighted information and haze distribution is uneven on the different image pixels. FA treats different features and pixels unequally, which provides additional flexibility in dealing with different types of information, expanding the representational ability of CNNs. 2) A basic block structure consists of Local Residual Learning and Feature Attention, Local Residual Learning allowing the less important information such as thin haze region or low-frequency to be bypassed through multiple local residual connections, let main network architecture focus on more effective information. 3) An Attention-based different levels Feature Fusion (FFA) structure, the feature weights are adaptively learned from the Feature Attention (FA) module, giving more weight to important features. This structure can also retain the information of shallow layers and pass it into deep layers. The experimental results demonstrate that our proposed FFA-Net surpasses previous state-of-the-art single image dehazing methods by a very large margin both quantitatively and qualitatively, boosting the best published PSNR metric from 30.23db to 36.39db on the SOTS indoor test dataset. Code has been made available at GitHub.

연구 동기 및 목표

• 고르지 않은 안개 분포에서도 견고한 단일 이미지 디헤이징을 촉진한다.
• 정보 특징과 픽셀에 선택적으로 집중하는 엔드-투-엔드 네트워크를 개발한다.
• 얕은 정보를 보존하면서 다중 수준 특징 융합을 도입한다.
• RESIDE SOTS에서 기존 디헤이징 방법에 비해 현저한 성능 향상을 입증한다.

제안 방법

• Channel Attention 과 Pixel Attention 을 결합하는 Feature Attention (FA) 모듈을 도입한다.
• 로컬 잔차 학습과 FA를 이용한 기본 블록을 구축하여 중요하지 않은 정보를 우회한다.
• Attention 기반 Feature Fusion (FFA) 구조를 사용하여 여러 그룹 구조의 특징을 적응적으로 가중하고 융합한다.
• 스킵 연결이 있는 그룹 아키텍처를 구성하고 글로벌 잔차 학습으로 최종 재구성을 수행한다.
• 이미지 복원 품질을 위해 L1 손실로 최적화한다.
• 데이터 증강과 Adam 옵티마이저를 사용하여 RESIDE SOTS 실내/실외에서 훈련한다.

실험 결과

연구 질문

• RQ1 결합된 Channel Attention과 Pixel Attention 모듈이 흐린 이미지의 불균등한 안개 분포 및 채널별 정보를 효과적으로 처리할 수 있는가?
• RQ2 로컬 잔차 학습이 학습 안정성을 향상시키고 중요한 저주파/투명한 안개 정보를 보존하는가?
• RQ3 다중 수준 특징 간의 적응형 특징 융합이 얕은 디테일을 보존하면서 깊은 표현을 향상시켜 기존의 디헤이징 방법보다 우수한 성능을 발휘할 수 있는가?

주요 결과

• FFA-Net은 RESIDE SOTS에서 PSNR 및 SSIM 이득으로 기존 방법을 능가한다(Indoor PSNR 36.39 dB, SSIM 0.9886; Outdoor PSNR 33.57 dB, SSIM 0.9840).
• FA 모듈(Channel + Pixel Attention)은 두툼한 안개 영역과 고주파 질감을 강조하는 적응 가중치를 제공한다.
• 로컬 잔차 학습은 학습을 안정화하고 성능을 향상시킨다.
• 주의 기반 특징 융합은 얕은 정보를 보존하고 깊은 특징의 통합을 효과적으로 가능하게 한다.
• 소거 실험은 각 구성 요소(FA, LRL, 및 FFA)가 PSNR 향상에 기여함을 보여주며, 축소 설정에서 35.77 dB, 보고된 설정에서 36.39 dB를 달성한다.