[논문 리뷰] Video Rain/Snow Removal by Transformed Online Multiscale Convolutional Sparse Coding

Minghan Li, Xiangyong Cao외 4명|arXiv (Cornell University)|2019. 09. 13.

Image Enhancement Techniques인용 수 6

한 줄 요약

이 논문은 실시간 파rameter 적응을 통해 감시 영상에서 동적인 빗방울/积雪과 배경 변형을 공동으로 모델링하는 온라인, 다중 척도 컨volution스parse coding 방법(OTMS-CSC)을 제안한다. 이는 시각적 품질과 정량적 지표에서 최신 기술을 초월하며, 오프라인 방법보다 훨씬 빠른 추론 속도를 보이며 실시간 스트리밍 영상 처리에 적합하다.

ABSTRACT

Video rain/snow removal from surveillance videos is an important task in the computer vision community since rain/snow existed in videos can severely degenerate the performance of many surveillance system. Various methods have been investigated extensively, but most only consider consistent rain/snow under stable background scenes. Rain/snow captured from practical surveillance camera, however, is always highly dynamic in time with the background scene transformed occasionally. To this issue, this paper proposes a novel rain/snow removal approach, which fully considers dynamic statistics of both rain/snow and background scenes taken from a video sequence. Specifically, the rain/snow is encoded as an online multi-scale convolutional sparse coding (OMS-CSC) model, which not only finely delivers the sparse scattering and multi-scale shapes of real rain/snow, but also well encodes their temporally dynamic configurations by real-time ameliorated parameters in the model. Furthermore, a transformation operator imposed on the background scenes is further embedded into the proposed model, which finely conveys the dynamic background transformations, such as rotations, scalings and distortions, inevitably existed in a real video sequence. The approach so constructed can naturally better adapt to the dynamic rain/snow as well as background changes, and also suitable to deal with the streaming video attributed its online learning mode. The proposed model is formulated in a concise maximum a posterior (MAP) framework and is readily solved by the ADMM algorithm. Compared with the state-of-the-art online and offline video rain/snow removal methods, the proposed method achieves better performance on synthetic and real videos datasets both visually and quantitatively. Specifically, our method can be implemented in relatively high efficiency, showing its potential to real-time video rain/snow removal.

연구 동기 및 목표

• 정적 빗방울/积雪와 고정 배경을 가정하는 기존 영상 빗방울/积雪 제거 방법의 한계를 해결하기 위해.
• 실제 감시 영상에서 시간에 따라 변화하는 빗방울/积雪 패턴과 회전, 확대/축소, 왜곡 등의 배경 변형을 처리할 수 있는 방법을 개발하기 위해.
• 프레임당 일정한 메모리와 시간 복잡도를 유지하는 온라인 학습 프레임워크를 통해 스트리밍 영상 시퀀스의 효율적이고 실시간 처리를 가능하게 하기 위해.
• 빈도수 분포와 배경 변화의 동적 통계 모델링을 통합하여 빗방울/积雪 층 분리 및 배경 복원의 정확도를 향상시키기 위해.

제안 방법

• 비가나 눈이 시간에 따라 변화하는 패턴을 실시간으로 포착하기 위해, 파arameter를 적응적으로 업데이트하는 온라인 다중 척도 컨volution스parse 코딩(OMS-CSC) 프레임워크를 사용해 빗방울/积雪을 모델링한다.
• 카메라 진동 등의 동적 장면 변화를 고려하기 위해 배경 모델링에 변환 연산자를 통합하여 프레임 간 배경 구조를 정렬한다.
• 최대 사후확률(MAP) 최적화 프레임워크 내에서 제안되며, 수렴성과 확장성을 확보하기 위해 ADMM 알고리즘을 효율적으로 적용한다.
• 영상 시퀀스에서 빗방울/积雪의 다중 척도 형태와 희소 공간 분포를 포착하기 위해 다중 척도에서 희소 표현을 학습한다.
• 온라인 학습 메커니즘이 프레임당 일정한 계산 및 메모리 비용을 보장하여 장기적이거나 연속적인 영상 스트림에 대한 확장성을 확보한다.
• 빈도수의 희소성과 배경의 구조 일관성을 동시에 최적화하여 영상에서 빗방울, 배경, 재구성된 구성요소로 분리한다.

실험 결과

연구 질문

• RQ1 시간에 따라 변화하는 빗방울/积雪 패턴이 존재할 경우, 영상 빗방울/积雪 제거 성능는 어떻게 향상시킬 수 있는가?
• RQ2 실제 감시 영상에서 회전, 확대/축소, 왜곡 등의 배경 변형을 얼마나 정확히 모델링할 수 있는가? 이는 분리 정확도 향상에 어떤 기여를 하는가?
• RQ3 스트리밍 영상 시퀀스의 실시간 처리를 위해 효율성과 확장성을 유지하는 온라인 학습 프레임워크를 설계할 수 있는가?
• RQ4 정적 조건을 가정하는 방법과 비교해 동적 빗방울/积雪 및 배경 변화를 공동으로 모델링하는 방법의 시각적 및 정량적 성능은 어떻게 다른가?

주요 결과

• 제안된 OTMS-CSC 방법은 복잡한 배경 변화와 다양한 강수 강도를 보이는 장면에서도 빗방울/积雪 제거에서 뛰어난 시각적 품질을 달성한다.
• 합성 및 실제 영상 데이터셋에서 OTMS-CSC는 PSNR 및 SSIM 등의 정량적 지표에서 최신 오프라인 및 온라인 방법을 모두 능가하며, 특히 도전적인 케이스에서 뚜렷한 향상을 보였다.
• 메서드는 빠른 속도를 확보하여 정적 영상에서는 평균 0.96초, 동적 영상에서는 평균 1.36초의 프레임당 추론 시간을 기록했으며, 기존의 느린 기준 방법들보다 뚜렷한 성능 우월성을 보였다.
• 온라인 구현은 선형 시간 복잡도와 일정한 메모리 사용량을 보장하여 확장성과 실시간 스트리밍 영상 응용에 적합하다.
• 빠른 운동, 조명 변화, 또는 저시인성 조건(예:积雪 배경에 가벼운 눈이 내리는 경우)에서도 OTMS-CSC는 배경 변형을 忽시하는 방법들보다 뛰어난 강건한 성능을 유지한다.
• 시각적 비교 결과 OTMS-CSC는 배경 에지가 혼합되지 않도록 효과적으로 빗방울/积雪 층을 분리하지만, 다른 방법들은 종종 잔여 줄무늬나 왜곡을 남긴다.