[논문 리뷰] Structural Residual Learning for Single Image Rain Removal

Wang Hong, Yichen Wu외 4명|arXiv (Cornell University)|2020. 05. 19.

Image Enhancement Techniques참고 문헌 55인용 수 4

한 줄 요약

이 논문은 단일 이미지 비 제거를 위한 구조적 잔차 신경망(SRNet)을 제안하며, 출력 잔차가 내재된 비 줄무늬 구조에 맞도록 강제하여, 훈련 데이터에 포함되지 않은 새로운 비 패턴에 대한 일반화 능력을 향상시킨다. 다중 척도 및 확장된 잔차 블록을 통해 비의 형태학적 사전 지식을 네트워크에 통합하고, 글로벌 잔차 학습을 통해 SRNet은 합성 및 실세계 데이터셋에서 최신 기술 수준의 성능을 달성하며, 뛰어난 강건성과 세부 정보 유지 능력을 확보한다.

ABSTRACT

To alleviate the adverse effect of rain streaks in image processing tasks, CNN-based single image rain removal methods have been recently proposed. However, the performance of these deep learning methods largely relies on the covering range of rain shapes contained in the pre-collected training rainy-clean image pairs. This makes them easily trapped into the overfitting-to-the-training-samples issue and cannot finely generalize to practical rainy images with complex and diverse rain streaks. Against this generalization issue, this study proposes a new network architecture by enforcing the output residual of the network possess intrinsic rain structures. Such a structural residual setting guarantees the rain layer extracted by the network finely comply with the prior knowledge of general rain streaks, and thus regulates sound rain shapes capable of being well extracted from rainy images in both training and predicting stages. Such a general regularization function naturally leads to both its better training accuracy and testing generalization capability even for those non-seen rain configurations. Such superiority is comprehensively substantiated by experiments implemented on synthetic and real datasets both visually and quantitatively as compared with current state-of-the-art methods.

연구 동기 및 목표

• 훈련 데이터에 포함되지 않은 새로운 비 패턴에 대해 기존의 CNN 기반 비 제거 방법의 일반화 실패 문제를 해결하기 위해.
• 비 줄무늬 구조의 사전 지식을 네트워크 아키텍처에 통합하여 단일 이미지 비 제거의 강건성과 일반화 능력을 향상시키기 위해.
• 대규모이고 다양한 훈련 쌍이 필요 없이도 실세계 비가 내리는 이미지에서 높은 성능을 유지할 수 있는 네트워크를 개발하기 위해.
• 시간 정보가 없더라도 단일 이미지 모델을 사용하여 영상 비 제거에 효과적으로 활용할 수 있도록 하기 위해.
• 잔차 학습 과정에 구조적 인도적 편향을 통합하여 훈련 샘플에 대한 과적합을 줄이기 위해.

제안 방법

• 제안된 SRNet은 서로 다른 확장 인자 값을 가진 세 개의 병렬 하위망을 사용하여 다중 척도 비 구조를 캡처하며, 실제 비 줄무늬의 반복적이고 방향성 있는 특성을 모방한다.
• 구조적 잔차 학습 모듈을 도입하여, 네트워크의 출력 잔차가 일관된 형태, 두께, 방향성과 같은 비 패턴에 대한 사전 지식과 일치하도록 제약을 둔다.
• 스킵 연결과 글로벌 잔차 학습을 활용한 인코더-디코더 아키텍처를 사용하여 특징의 무결성을 유지하고 학습 안정성을 향상시킨다.
• 공간 해상도 유지 및 정밀한 특징 재구성 가능성을 확보하기 위해 인코더-디코더 경로에서 최대 풀링 및 최대 언풀링 레이어를 사용한다.
• 병렬 브랜치 간 가중치 공유를 통해 모델 파라미터를 감소시키면서 일반화 능력을 손상시키지 않아, 컴act하면서도 효과적인 아키텍처를 구현한다.
• 실세계 쌍 데이터가 필요 없이 합성된 비-클린 이미지 쌍을 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 훈련 분포를 초월한 비 패턴에 대해 잔차 출력에 구조적 사전 지식을 강제 적용함으로써 일반화 능력 향상이 가능한가?
• RQ2 다중 척도 및 확장된 잔차 학습은 훈련 중에 볼 수 없었던 다양한 비 줄무늬 패턴을 어떻게 캡처하는가?
• RQ3 시간 모델링 없이도 단일 이미지 비 제거 모델이 실세계 비 영상에 적용되었을 때 영상 기반 비 제거 방법보다 성능이 뛰어나게 되는가?
• RQ4 표준 잔차 신경망에 비해 구조적 잔차 학습이 배경 무늬와 세부 정보 유지 측면에서 더 우수한 성능을 내는가?
• RQ5 병렬 브랜치 간 가중치 공유가 성능을 유지하면서도 모델 복잡성과 추론 비용을 줄이는 데 효과적인가?

주요 결과

• SRNet은 SPA-Data 벤치마크에서 PSNR 35.31과 SSIM 0.9448을 기록하여, 모든 경쟁 기술 대비 정량적·정성적 평가에서 슈퍼리어한 성능을 확보했다.
• 시간 정보 없이도 SRNet은 실세계 비 영상 프레임에서 경쟁적인 비 제거 성능을 달성했으며, 나무 줄기나 무늬 같은 세부 정보 유지 측면에서 몇몇 영상 기반 비 제거 방법을 능가했다.
• 최대 언풀링을 사용한 변종(B_d)이 대부분의 다른 변종과 경쟁 기술보다 뛰어난 성능을 보이며, 인코더-디코더 설계의 효과성을 입증했다.
• 가중치 공유를 적용한 모델(B_e)은 전체 모델(B_f)과 유사한 성능을 달성하면서도 파라미터를 크게 감소시켜 아키텍처의 효율성을 입증했다.
• 시각화 결과에서 추출된 비 레이어와 희소 특징 맵이 실제 비 줄무늬 패턴과 잘 일치함을 확인하여, 이 방법의 구조적 인도적 편향이 타당함을 검증했다.
• 복잡한 운동과 저조도 조건을 가진 실세계 영상 프레임에서도 SRNet은 비 줄무늬를 효과적으로 제거하면서 왜곡을 최소화했으며, 모델 기반 또는 딥러닝 기반 영상 비 제거 방법이 유도하는 왜곡과는 대조적으로 우수한 성능을 보였다.