[논문 리뷰] From heavy rain removal to detail restoration: A faster and better network

Yuanbo Wen, Tao Gao외 3명|arXiv (Cornell University)|2022. 05. 07.

Image Enhancement Techniques참고 문헌 40인용 수 9

한 줄 요약

이 논문은 단일 이미지의 비를 제거하기 위한 이중 단계 점진적 향상 네트워크인 DPENet을 제안한다. 먼저 확장된 조밀한 잔여 블록(DDRB)을 사용해 비줄기를 제거하고, 이후 향상된 잔여 픽셀 단위 주의 블록(ERPAB)을 통해 세부 정보를 복원한다. 이 방법은 유역 품질과 추론 효율성 측면에서 최신 기술을 초월하며, 기준 데이터셋에서 PReNet보다 38.9% 빠른 추론 속도와 36.1% 낮은 FLOPs를 기록한다.

ABSTRACT

The profound accumulation of precipitation during intense rainfall events can markedly degrade the quality of images, leading to the erosion of textural details. Despite the improvements observed in existing learning-based methods specialized for heavy rain removal, it is discerned that a significant proportion of these methods tend to overlook the precise reconstruction of the intricate details. In this work, we introduce a simple dual-stage progressive enhancement network, denoted as DPENet, aiming to achieve effective deraining while preserving the structural accuracy of rain-free images. This approach comprises two key modules, a rain streaks removal network (R$^2$Net) focusing on accurate rain removal, and a details reconstruction network (DRNet) designed to recover the textural details of rain-free images. Firstly, we introduce a dilated dense residual block (DDRB) within R$^2$Net, enabling the aggregation of high-level and low-level features. Secondly, an enhanced residual pixel-wise attention block (ERPAB) is integrated into DRNet to facilitate the incorporation of contextual information. To further enhance the fidelity of our approach, we employ a comprehensive loss function that accentuates both the marginal and regional accuracy of rain-free images. Extensive experiments conducted on publicly available benchmarks demonstrates the noteworthy efficiency and effectiveness of our proposed DPENet. The source code and pre-trained models are currently available at \url{https://github.com/chdwyb/DPENet}.

연구 동기 및 목표

• 단일 이미지에서 강우 제거 과정에서 세밀한 질감 정보를 유지하는 데 지속적인 과제를 해결하기 위해.
• 기존 유역 제거 네트워크가 세부 정보 손실을 감수하면서도 비줄기 제거에 우선순위를 두는 한계를 극복하기 위해.
• 높은 품질의 유역 제거를 달성하면서도 계산 속도를 희생하지 않는 경량이고 효율적인 아키텍처를 설계하기 위해.
• 새로운 아키텍처 구성 요소인 DDRB와 ERPAB를 통해 특징 표현 및 맥락 집합을 향상시키기 위해.
• 유역 제거된 이미지의 국소적 및 지역적 정확성을 향상시키기 위해 하이브리드 손실 함수를 개발하기 위해.

제안 방법

• 네트워크는 이중 단계 설계를 채택한다: 첫 번째로, 확장된 조밀한 잔여 블록(DDRB)을 사용해 넓은 수신장과 다중 수준 특징을 추출하는 비줄기 제거 네트워크(R²Net).
• DDRB는 다양한 비율의 확장 컨볼루션과 조밀한 스킵 연결을 통합하여 특징 전파 및 맥락 모델링을 향상시킨다.
• 두 번째로, 세부 질감을 복원하기 위해 향상된 잔여 픽셀 단위 주의 블록(ERPAB)을 사용하는 세부 정보 복원 네트워크(DRNet).
• ERPAB는 다중 수신장 맥락 캡처를 위한 병렬 확장 융합 블록(PDFB)과 공간 상관관계를 정밀하게 보정하기 위한 픽셀 단위 주의 블록(PAB)을 조합한다.
• 지역적 및 전역적 이미지 무결성을 향상시키기 위해 L1, 인지적, 적대적 손실을 조합한 하이브리드 손실 함수를 사용한다.
• 모델은 합성 및 실세계 데이터셋에서 엔드 투 엔드로 훈련되며, 추론 속도와 낮은 FLOPs를 최적화하기 위해 설계된다.

실험 결과

연구 질문

• RQ1 이중 단계 네트워크 아키텍처가 동시에 비줄기 제거와 세부 정보 복원을 향상시킬 수 있는가?
• RQ2 DDRB에 확장 컨볼루션과 조밀한 잔여 연결을 통합함으로써 강우 제거에 대한 특징 표현이 향상되는가?
• RQ3 향상된 픽셀 단위 주의 메커니즘(ERPAB)이 유역 제거된 이미지의 고주파 질감을 효과적으로 복원할 수 있는가?
• RQ4 제안된 하이브리드 손실 함수가 표준 손실 함수에 비해 더 나은 인지적 품질과 구조적 정확성을 제공하는가?
• RQ5 네트워크가 낮은 계산 비용과 빠른 추론 속도를 유지하면서도 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• 실세계 Rain1000 데이터셋에서 DPENet는 NIQE 점수 18.42와 SSEQ 16.29를 기록하여 비교된 모든 방법보다 뛰어난 성능을 보였다.
• Rain100H 벤치마크에서 DPENet는 PSNR 30.12 dB 및 SSIM 0.901을 기록하여 뛰어난 복원 품질을 입증했다.
• PReNet 대비 평균 추론 시간을 38.9% 감소시키고 FLOPs를 36.1% 감소시켜 최고의 효율-정확도 트레이드오프를 달성했다.
• 시각적 비교 결과, DPENet는 비줄기와 안개 효과를 효과적으로 제거하면서도 세밀한 질감을 유지하는 반면, 다른 방법들은 잔여 잡음이 남는 것을 확인했다.
• 제거 실험을 통해 DDRB와 ERPAB가 성능 향상에 크게 기여하며, 하이브리드 손실 함수가 구조적 및 인지적 무결성을 향상시킨다는 것이 확인되었다.
• 효율성은 유지하고 있음에도 불구하고, 빗방울이나 극단적인 기상 조건과 같은 경우에 대한 일반화 능력은 제한적이므로 향후 강건성 향상 필요성이 제기된다.