[논문 리뷰] Physical Model Guided Deep Image Deraining

Honghe Zhu, Cong Wang외 3명|arXiv (Cornell University)|2020. 03. 30.

Image Enhancement Techniques참고 문헌 23인용 수 4

한 줄 요약

이 논문은 단일 이미지 비강수 제거를 위한 물리 모델 유도형 딥러닝 프레임워크를 제안하며, 빗줄기와 비가 없는 이미지를 동시에 추정하고, 그들의 연결을 정련을 위한 가이드로 사용하며 선형 모델 O = B + R 기반의 물리적 제약 조건을 강제한다. 이 방법은 다중 척도 특징 학습을 향상시키기 위해 다중 척도 잔차 블록(MSRB)을 도입하여 합성 및 실세계 데이터셋 모두에서 최신 기술 수준의 성능을 달성하며, PSNR는 최대 28.97, SSIM은 0.9015를 기록한다.

ABSTRACT

Single image deraining is an urgent task because the degraded rainy image makes many computer vision systems fail to work, such as video surveillance and autonomous driving. So, deraining becomes important and an effective deraining algorithm is needed. In this paper, we propose a novel network based on physical model guided learning for single image deraining, which consists of three sub-networks: rain streaks network, rain-free network, and guide-learning network. The concatenation of rain streaks and rain-free image that are estimated by rain streaks network, rain-free network, respectively, is input to the guide-learning network to guide further learning and the direct sum of the two estimated images is constrained with the input rainy image based on the physical model of rainy image. Moreover, we further develop the Multi-Scale Residual Block (MSRB) to better utilize multi-scale information and it is proved to boost the deraining performance. Quantitative and qualitative experimental results demonstrate that the proposed method outperforms the state-of-the-art deraining methods. The source code will be available at \url{https://supercong94.wixsite.com/supercong94}.

연구 동기 및 목표

• 비가 온 이미지 형성 모델 O = B + R 에서 유도된 물리적 사전 지식을 활용하여 단일 이미지 비강수 문제의 매우 불안정한 성격을 해결하기 위해.
• 별도로 다루는 대신 빗줄기와 비가 없는 이미지를 함께 추정하여 비강수 제거 성능을 향상시키기 위해.
• 신규로 설계된 다중 척도 잔차 블록(MSRB)을 통해 다중 척도 정보를 통합함으로써 특징 표현을 향상시키기 위해.
• 추정된 빗줄기와 비가 없는 이미지의 연결을 활용하여 학습 과정을 가이드함으로써 세부 사항 및 질감 복구를 향상시키기 위해.
• 절삭 및 비교 실험을 통해 물리 모델 제약 조건과 다중 척도 설계의 효과를 검증하기 위해.

제안 방법

• 네트워크는 빗줄기 추정 네트워크, 비가 없는 이미지 추정 네트워크, 두 추정 이미지의 연결을 입력으로 받는 가이드 학습 네트워크로 구성된 세 개의 하위 네트워크로 이루어져 있다.
• 가이드 학습 네트워크는 추정된 빗줄기와 비가 없는 이미지의 연결을 사용하여 최종 출력을 정련함으로써 상호 특징 가이드를 가능하게 한다.
• 입력 비가 온 이미지와 추정된 빗줄기 및 비가 없는 이미지의 직접 합의 L1-노름 차이를 최소화함으로써 물리적 제약 조건을 적용한다.
• 다양한 크기와 방향을 가진 빗줄기 표현을 향상시키기 위해 다중 척도 특징을 추출하기 위해 다중 척도 잔차 블록(MSRB)을 설계한다.
• 특징 맵에서 다중 척도 맥락 정보를 캡처하기 위해 다중 스트림 확장 컨볼루션을 사용한다.
• 손실 함수는 인지적 손실과 L1 손실을 조합하며, 관측된 비가 온 이미지와의 일관성을 확보하기 위해 물리 모델 기반의 Lp 손실을 포함한다.

실험 결과

연구 질문

• RQ1 비가 온 이미지 형성 모델 O = B + R 기반의 물리 모델 제약 조건을 도입함으로써, 이러한 제약 조건 없이 엔드 투 엔드 학습을 수행하는 것에 비해 단일 이미지 비강수 제거의 강건성과 정확도가 향상되는가?
• RQ2 가이드 학습 메커니즘을 통해 빗줄기와 비가 없는 이미지를 함께 추정함으로써 비강수 제거 성능이 어떻게 향상되는가?
• RQ3 전용 MSRB 블록을 통한 다중 척도 특징 학습을 통합함으로써 복잡한 빗줄기 패턴의 표현력이 얼마나 향상되는가?
• RQ4 추정된 빗줄기와 비가 없는 이미지의 연결이 최종 정련된 출력을 개선하기 위한 효과적인 가이드로 기능하는가?
• RQ5 다중 척도 설계, 물리적 제약 조건, 가이드 학습 등의 개별 구성 요소들이 실세계 및 합성 환경에서의 전체 성능에 기여하는 정도는 어떠한가?

주요 결과

• 제안된 방법은 기준 데이터셋에서 PSNR 28.97과 SSIM 0.9015를 기록하여 정량적 및 정성적 평가 모두에서 최신 기술 수준의 방법들을 능가한다.
• 절삭 연구 결과, 다중 척도 구조가 성능 향상에 크게 기여하며, 포함될 경우 최대 0.73 dB의 PSNR 향상이 이루어진다.
• 물리 모델 제약 조건(Lp 손실)은 더 나은 세부 사항 보존과 잔여 잡음 감소를 가능하게 하여, 개선된 SSIM 및 PSNR 값으로 확인된다.
• 빗줄기 및 비가 없는 이미지 네트워크에서 추출된 연결 특징을 사용하는 가이드 학습 네트워크는 단일 추정 성분만을 사용하는 모델보다 열등한 결과를 낳는다.
• 실세계 이미지에 대한 시각적 비교 결과, 제안된 방법은 잔여 빗줄기 및 잡음이 최소화된 가장 선명한 결과를 생성하며, DDN, JORDER, RESCAN 및 PReNet를 능가한다.
• MSRB 블록은 실증적으로 특징 표현을 향상시키며, 특히 다양한 척도와 밀도를 가진 빗줄기의 포착에 기여한다.