[논문 리뷰] Single Image Deraining using Scale-Aware Multi-Stage Recurrent Network

Ruoteng Li, Loong‐Fah Cheong외 1명|arXiv (Cornell University)|2017. 12. 19.

Image Enhancement Techniques참고 문헌 22인용 수 28

한 줄 요약

이 논문은 다양한 크기와 밀도의 ll 비줄기를 병렬 서브넷을 통해 처리하는 스케일 인식 다단계 순환 합성곱 신경망을 제안한다. 이는 무거운 비와 안개 효과에 대한 성능을 크게 향상시킨다. 방법은 합성 및 실세계 데이터셋에서 최신 기술을 초월하며, 스케일별 비 특성에 명시적으로 모델링함으로써 성능을 향상시킨다.

ABSTRACT

Given a single input rainy image, our goal is to visually remove rain streaks and the veiling effect caused by scattering and transmission of rain streaks and rain droplets. We are particularly concerned with heavy rain, where rain streaks of various sizes and directions can overlap each other and the veiling effect reduces contrast severely. To achieve our goal, we introduce a scale-aware multi-stage convolutional neural network. Our main idea here is that different sizes of rain-streaks visually degrade the scene in different ways. Large nearby streaks obstruct larger regions and are likely to reflect specular highlights more prominently than smaller distant streaks. These different effects of different streaks have their own characteristics in their image features, and thus need to be treated differently. To realize this, we create parallel sub-networks that are trained and made aware of these different scales of rain streaks. To our knowledge, this idea of parallel sub-networks that treats the same class of objects according to their unique sub-classes is novel, particularly in the context of rain removal. To verify our idea, we conducted experiments on both synthetic and real images, and found that our method is effective and outperforms the state-of-the-art methods.

연구 동기 및 목표

• 기존의 비 제거 방법이 겹치는 다중 스케일 비줄기와 대기적 안개 효과를 다루는 데에 한계를 보이고 있는 문제를 해결하기 위해.
• 특징 기반 및 학습 기반 방법이 다양한 크기와 밀도의 조밀하고 겹치는 비줄기 처리에 비효율적인 문제를 해결하기 위해.
• 비줄기를 균일한 클래스가 아니라 스케일 기반 하위 클래스로 간주함으로써 더 정확하고 강력한 비 제거를 가능하게 하는 딥 러닝 아키텍처를 개발하기 위해.
• 비줄기 제거와 함께 빛 산란으로 인한 안개 같은 안개 효과를 동시에 제거함으로써, 비가 내리는 이미지의 시야 복원을 향상시키기 위해.
• 다양한 데이터셋, 즉 다양한 비 조건을 가진 합성 데이터와 실세계 비가 내리는 이미지를 포함하여 방법의 일반화 및 강건성을 입증하기 위해.

제안 방법

• 각각 특정 크기 범위의 비줄기를 탐지하고 제거하도록 전문화된 병렬 서브넷을 갖춘 다단계, 스케일 인식 아키텍처를 사용한다.
• 일반적인 이미지 특징을 추출하기 위해 DenseNet 기반 백본을 사용하며, 이를 병렬 서브넷에 공급하여 스케일별 처리를 수행한다.
• 각 서브넷은 비줄기 패턴의 시간적 및 공간적 종속성을 모델링하기 위해 순환 모듈을 사용하여 스테이지 간 특징 정제를 향상시킨다.
• 자유공간 빛 감쇠 모델(α(x) = exp(−βd(x)))를 사용하여 다양한 비줄기 크기, 밀도 및 대기적 안개 효과를 포함한 합성 데이터셋을 기반으로 엔드 투 엔드로 학습한다.
• 장면 깊이 d(x)와 감쇠 계수 β에 기반한 깊이 의존 투과도(α)를 포함시켜 안개 효과를 명시적으로 모델링한다.
• 모든 스케일별 서브넷의 예측을 융합하여 청소된 이미지를 재구성함으로써 잔여 비줄기를 최소화하고 날카운 물체 경계를 유지한다.

실험 결과

연구 질문

• RQ1 겹치는 다중 스케일 비줄기가 있는 무거운 비 이미지에서 다단계, 스케일 인식 아키텍처가 비 제거 성능을 향상시킬 수 있는가?
• RQ2 비줄기를 크기와 밀도 기반 하위 클래스로 간주할 경우, 균일한 처리 방식에 비해 더 나은 특징 학습과 내부 클래스 경쟁 감소가 이루어지는가?
• RQ3 제안된 방법이 비방울의 빛 산란으로 인한 비줄기 및 대기적 안개 효과를 효과적으로 제거할 수 있는가?
• RQ4 스케일별 서브넷에 순환 모듈을 포함시키면, 다단계에 걸쳐 비 제거 정밀도 향상에 모델의 능력이 어떻게 영향을 미치는가?
• RQ5 이 방법이 복잡하고 다양한 비 패턴을 가진 실세계 비가 내리는 이미지에 얼마나 잘 일반화되는가?

주요 결과

• 다양한 크기와 밀도의 비줄기를 포함하는 Rain12S 데이터셋에서, 제안된 방법은 기존 최신 기술보다 모든 종류의 비줄기, 특히 조밀하고 얇은 비줄기 제거에서 뛰어난 성능을 보였다.
• 100장의 이미지를 포함한 COCO 기반 합성 데이터셋에서, 방법은 PSNR, SSIM, VIF, FSIM 점수에서 뛰어난 성능을 기록하여 다양한 비 조건에 대한 강력한 일반화 능력을 입증했다.
• BSD300 기반의 안개 효과가 합성된 데이터셋에서, 방법은 물체 경계를 흐리게 하지 않고도 청소된 배경을 성공적으로 복원했으며, JORDER 및 DetailsNet과 같은 방법보다 뛰어난 성능을 보였다.
• 제거 실험을 통해 세 개의 병렬 순환 모듈을 사용할 경우 최적의 성능을 얻었으며, 모듈 수가 0에서 3으로 증가함에 따라 PSNR가 점진적으로 향상됨을 확인했다.
• 실세계 이미지 평가에서, 방법은 얇고 두꺼운 비줄기를 동시에 효과적으로 제거했으며, JORDER 및 DetailsNet은 극단적인 두께나 얇기의 경우를 제거하지 못했다.
• 스케일 인식 다단계 설계를 가진 네트워크는 합성 및 실세계 비 데이터에서 모든 정량적 지표와 정성적 비교에서 최신 기술 수준의 성능을 달성했다.