[논문 리뷰] Structure-Preserving Deraining with Residue Channel Prior Guidance

Qiaosi Yi, Juncheng Li외 4명|arXiv (Cornell University)|2021. 08. 20.

Image Enhancement Techniques참고 문헌 47인용 수 5

한 줄 요약

이 논문은 잔여 채널 사전(RCP) 가이던스를 활용하여 고해상도의 비강우 이미지를 정확한 구조적 세부 정보로 재구성하는 구조 보존형 비강우 네트워크인 SPDNet을 제안한다. 웨이블릿 기반 다중 수준 모듈, 상호작용 융합 모듈, 반복적 RCP 정밀 조정 전략을 통합함으로써, 비강우 생성 가정에 의존하지 않고도 합성 및 실제 세계 비강우 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Single image deraining is important for many high-level computer vision tasks since the rain streaks can severely degrade the visibility of images, thereby affecting the recognition and analysis of the image. Recently, many CNN-based methods have been proposed for rain removal. Although these methods can remove part of the rain streaks, it is difficult for them to adapt to real-world scenarios and restore high-quality rain-free images with clear and accurate structures. To solve this problem, we propose a Structure-Preserving Deraining Network (SPDNet) with RCP guidance. SPDNet directly generates high-quality rain-free images with clear and accurate structures under the guidance of RCP but does not rely on any rain-generating assumptions. Specifically, we found that the RCP of images contains more accurate structural information than rainy images. Therefore, we introduced it to our deraining network to protect structure information of the rain-free image. Meanwhile, a Wavelet-based Multi-Level Module (WMLM) is proposed as the backbone for learning the background information of rainy images and an Interactive Fusion Module (IFM) is designed to make full use of RCP information. In addition, an iterative guidance strategy is proposed to gradually improve the accuracy of RCP, refining the result in a progressive path. Extensive experimental results on both synthetic and real-world datasets demonstrate that the proposed model achieves new state-of-the-art results. Code: https://github.com/Joyies/SPDNet

연구 동기 및 목표

• 기존의 CNN 기반 방법이 복잡한 실제 세계 시나리오에서 정확한 객체 구조를 복원하지 못하는 경향이 있기 때문에, 단일 이미지 비강우 처리에서 구조적 세부 정보를 보존하는 데 도전한다.
• 비강우 줄무늬를 예측하고 제거하는 데에 집중하는 이전의 CNN 기반 비강우 방법의 한계를 극복하여 과도하거나 부족한 제거 및 구조적 열화를 방지한다.
• 비강우 이미지에서도 명확한 구조적 정보를 유지할 수 있는 새로운 이미지 사전인 잔여 채널 사전(RCP)을 탐색하고 활용한다.
• 재구성 과정 중에 RCP 추정치를 반복적으로 정밀 조정하여 단계적으로 이미지 품질을 향상시키는 점진적이고 반복적인 가이던스 메커니즘을 개발한다.
• 객체 검출 및 인식과 같은 후행 비전 작업에서의 실용적 이점을 입증한다.

제안 방법

• 비강우 이미지에서 다중 척도 배경 특징를 학습하기 위해 웨이블릿 기반 다중 수준 모듈(WMLM)을 백본으로 제안하여 구조적 내용의 표현력을 향상시킨다.
• RGB 채널 값의 최대값과 최소값 간의 차이를 계산함으로써 RCP 추출 모듈을 설계하여, 비가 오는 이미지에서도 구조적 에지 정보를 유지하는 사전을 생성한다.
• WMLM와 RCP의 특징를 동적으로 융합하여 구조적으로 정확한 비강우 이미지를 재구성하는 데 네트워크를 지도하는 데 사용하는 상호작용 융합 모듈(IFM)을 도입한다.
• 중간 비강두 결과로부터 RCP를 재추정하는 반복적 가이던스 전략을 구현하여, 점진적으로 사전을 정밀 조정하고 재구성 품질을 향상시킨다.
• 픽셀 수준의 정밀도와 구조 일致성 모두를 확보하기 위해 L1 손실과 인지적 손실의 조합을 사용하여 엔드 투 엔드 SPDNet 모델을 훈련시킨다.
• RCP 품질이 이미지 품질 향상과 함께 향상됨을 관찰함으로써, 반복적 정밀 조정 루프가 RCP와 최종 출력 모두를 향상시킬 수 있음을 활용한다.

Figure 1: An example of image deraining results. Obviously, SPDNet can reconstruct high-quality image with clear and accurate structure.

실험 결과

연구 질문

• RQ1 잔여 채널 사전(RCP)은 비가 오는 이미지에서 추출되더라도 비강두에 신뢰할 수 있는 구조적 사전로 기능할 수 있는가?
• RQ2 비강두 처리에서 전통적인 비줄무늬 예측 및 제거 방식과 비교해 RCP 가이던스 학습이 객체 구조 보존에 얼마나 효과적인가?
• RQ3 중간 결과 기반으로 RCP를 업데이트하는 반복적 정밀 조정 전략이 비강두 성능과 구조 정확도를 향상시키는가?
• RQ4 RCP 가이던스는 비가 오는 조건에서 객체 검출 및 인식과 같은 후행 비전 작업에 얼마나 기여하는가?
• RQ5 명시적인 비층 모델링에 의존하지 않고도 웨이블릿 기반 다중 수준 특징 추출기가 비가 오는 이미지에서 구조적 세부 정보를 효과적으로 캡처할 수 있는가?

주요 결과

• SPDNet는 합성(DID-Enhance, SIDD) 및 실제 세계(Real-World Deraining Benchmark) 비강두 데이터셋 모두에서 최신 기술 수준 성능을 달성하여 PSNR, SSIM, LPIPS 지표에서 이전 방법들을 능가한다.
• 제거 실험을 통해 RCP 가이던스가 구조적 정밀도를 크게 향상시킴을 확인하였으며, 시각적 결과에서는 기준선 대비 더 선명하고 정확한 객체 경계가 나타남을 확인하였다.
• 반복적 가이던스 전략은 측정 가능한 성능 향상을 이끌어내었으며, 중간 결과로부터 추출한 RCP를 사용할 경우 원본 비가 오는 이미지의 RCP만을 사용하는 것보다 성능 향상이 뚜렷함을 입증하여 점진적 정밀 조정의 가치를 입증하였다.
• COCO350 데이터셋에서 SPDNet의 비강두 결과는 mAP-50가 0.692를 기록하여 DRDNet(0.551), DCSFN(0.652), RCDNet(0.658) 및 기타 최신 기술 수준 방법들을 뛰어넘었으며, 검출 성능 향상을 시사한다.
• Google Vision API 평가 결과, SPDNet은 30장의 실제 세계 비가 오는 이미지에서 비 감지 신뢰도를 평균 0.18로 낮추어 다른 방법보다 훨씬 효과적으로 비를 제거함을 보여주었다.
• 시각적 비교 및 정성적 결과는 SPDNet이 날카운 에지, 선명한 질감, 더 통합된 구조를 갖춘 이미지를 재구성함을 확인하였으며, 특히 조밀한 비줄무늬가 많은 복잡한 장면에서 뚜렷한 우수성을 보였다.

Figure 3: The overall architecture of the proposed Structure-Preserving Deraining Network (SPDNet).