[논문 리뷰] DRD-Net: Detail-recovery Image Deraining via Context Aggregation Networks

Sen Deng, Mingqiang Wei외 4명|arXiv (Cornell University)|2019. 08. 27.

Image Enhancement Techniques참고 문헌 23인용 수 14

한 줄 요약

DRD-Net는 새로운 구조적 세부 정보 및 맥락 집합 블록(SDCAB)과 압축-흥장(SE) 기반 빗줄기 잔여 네트워크를 사용하여 한 장의 이미지에서 빗줄기 제거와 함께 손실된 이미지 세부 정보를 동시에 복구하는 엔드 투 엔드 딥 러닝 프레임워크를 제안한다. 이 방법은 빛의 세부 정보를 효과적으로 유지하고 블러링 및 색상 왜곡 등의 아티팩트를 줄임으로써 합성 및 실세계 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Image deraining is a fundamental, yet not well-solved problem in computer vision and graphics. The traditional image deraining approaches commonly behave ineffectively in medium and heavy rain removal, while the learning-based ones lead to image degradations such as the loss of image details, halo artifacts and/or color distortion. Unlike existing image deraining approaches that lack the detail-recovery mechanism, we propose an end-to-end detail-recovery image deraining network (termed a DRD-Net) for single images. We for the first time introduce two sub-networks with a comprehensive loss function which synergize to derain and recover the lost details caused by deraining. We have three key contributions. First, we present a rain residual network to remove rain streaks from the rainy images, which combines the squeeze-and-excitation (SE) operation with residual blocks to make full advantage of spatial contextual information. Second, we design a new connection style block, named structure detail context aggregation block (SDCAB), which aggregates context feature information and has a large reception field. Third, benefiting from the SDCAB, we construct a detail repair network to encourage the lost details to return for eliminating image degradations. We have validated our approach on four recognized datasets (three synthetic and one real-world). Both quantitative and qualitative comparisons show that our approach outperforms the state-of-the-art deraining methods in terms of the deraining robustness and detail accuracy. The source code has been available for public evaluation and use on GitHub.

연구 동기 및 목표

• 기존 방법들이 빗줄기 제거 과정에서 세밀한 무늬를 흐리게 하거나 왜곡하는 데 기인한 이미지 세부 정보 열화 문제를 해결한다.
• 전통적 및 학습 기반 빗줄기 제거 방법이 빗줄기 제거 과정에서 손실된 세부 정보를 복구하지 못하는 한계를 극복한다.
• 시각적 정밀도 향상을 위해 빗줄기 제거와 세부 정보 복구를 동시에 수행하는 통합형 엔드 투 엔드 프레임워크를 개발한다.
• 세부 정보 재구성에 위한 맥락 모델링을 향상시키기 위해 넓은 수신장(Receptive Field)을 갖춘 신규 아키텍처를 도입한다.
• 합성 및 실세계 데이터셋에서의 검증을 통해 방법의 강건성과 일반화 능력을 입증한다.

제안 방법

• 동일한 컨볼루션 레이어 내에서 특징 맵을 재보정함으로써 공간 맥락 모델링을 향상시키는 압축-흥장(SE) 기반 빗줄기 잔여 네트워크를 제안한다.
• 다양한 스케일의 맥락적 특징을 집계하기 위해 넓은 수신장을 갖춘 구조적 세부 정보 맥락 집합 블록(SDCAB)을 설계하여 세부 정보 복구를 향상시킨다.
• SDCAB에서 유도된 특징을 활용하여 빗줄기 제거 후 손실된 이미지 세부 정보를 재구성하는 전용 세부 정보 복구 네트워크를 통합한다.
• 재구성 정확도, 텍스처 유지 및 현실감을 균형 있게 조절하기 위해 L1, 인지적, 적대적 손실을 조합한 종합적인 손실 함수를 적용한다.
• 빗줄기 제거 및 세부 정보 복구에 대한 공동 감독을 통해 다단계 최적화 전략을 활용하여 엔드 투 엔드 DRD-Net을 훈련한다.
• 두 개의 브런치로 구성된 네트워크 설계를 활용: 하나는 SE 블록을 갖춘 빗줄기 제거 전용, 다른 하나는 SDCAB를 사용하는 세부 정보 복구 전용으로, 상호보완적인 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 딥 러닝 기반 빗줄기 제거 네트워크는 빗줄기 제거 과정에서 손실된 이미지 세부 정보를 효과적으로 복구할 수 있는가?
• RQ2 넓은 수신장을 갖춘 맥락 집합 블록(SDCAB)의 통합이 빗줄기 제거된 이미지에서의 세부 정보 복구에 어떻게 기여하는가?
• RQ3 압축-흥장(SE) 메커니즘이 공간 맥락을 유지하면서 빗줄기 줄무늬 제거 성능을 얼마나 향상시키는가?
• RQ4 제안된 엔드 투 엔드 프레임워크는 실세계 및 합성 데이터셋에서 기존 최신 기술 수준의 방법보다 정량적 지표와 시각적 품질 면에서 뛰어나게 성능을 발휘하는가?
• RQ5 DRD-Net의 빗줄기 제거 출력물이 외부 비전 API에서 '비가 오는' 이미지로 효과적으로 인식될 수 있는가? 이는 빗줄기 관련 시각적 특징이 성공적으로 유지되었음을 시사한다.

주요 결과

• Rain200H 데이터셋에서 DRD-Net은 PSNR 28.16과 SSIM 0.9201을 기록하여 DAF-Net 및 RESCAN을 포함한 모든 기준 모델을 능가한다.
• Rain800 데이터셋에서 DRD-Net은 PSNR 26.32와 SSIM 0.9018를 기록하여 다양한 빗줄기 패tern에 대한 강력한 일반화 능력을 입증한다.
• 제거 실험 결과 SDCAB 블록이 성능 향상에 크게 기여함을 확인하였으며, Rain200H에서 PSNR는 M=16, D=8+3일 때 26.93에서 M=64, D=16+3일 때 28.16으로 상승한다.
• SE 모듈이 성능 향상에 기여함을 확인하였으며, Rain200H에서 SE 미적용 시 PSNR 26.20에서 SE 및 SDCAB 적용 시 28.16으로 상승한다.
• Google Vision API 결과, DRD-Net은 빗줄기 제거된 이미지에서 탐지 가능한 빗줄기 관련 특징을 유지하고 있음을 확인하였으며, 기준 모델 대비 신뢰도 점수가 뚜렷이 높다.
• 속도와 성능 사이의 균형을 확보하였으며, Rain200H에서 추론 시간은 0.54초로 일부 빠른 기준 모델보다 略로 느리지만 실세계 적용에 있어 여전히 수용 가능한 수준이다.