[논문 리뷰] Enhanced Spatio-Temporal Interaction Learning for Video Deraining: A Faster and Better Framework

Kaihao Zhang, Dongxu Li외 3명|arXiv (Cornell University)|2021. 03. 23.

Image Enhancement Techniques인용 수 14

한 줄 요약

이 논문은 세 모듈로 구성된 아키텍처를 통해 시공간 특징 학습을 향상시키는 새로운 엔드 투 엔드 비디오 비강우 프레임워크인 ESTINet을 제안한다: 공간 정보 수집 모듈(SICM), 새로운 상호작용-CBLSTM를 갖춘 시공간 상호작용 모듈(STIM), 향상된 시공간 모듈(ESTM). 이 방법은 세 가지 공개 데이터셋에서 비강우 품질과 추론 속도 측면에서 기존의 최고 성능을 기록하며, PSNR, SSIM 및 런타임 측면에서 기존 방법들을 능가한다.

ABSTRACT

Video deraining is an important task in computer vision as the unwanted rain hampers the visibility of videos and deteriorates the robustness of most outdoor vision systems. Despite the significant success which has been achieved for video deraining recently, two major challenges remain: 1) how to exploit the vast information among continuous frames to extract powerful spatio-temporal features across both the spatial and temporal domains, and 2) how to restore high-quality derained videos with a high-speed approach. In this paper, we present a new end-to-end video deraining framework, named Enhanced Spatio-Temporal Interaction Network (ESTINet), which considerably boosts current state-of-the-art video deraining quality and speed. The ESTINet takes the advantage of deep residual networks and convolutional long short-term memory, which can capture the spatial features and temporal correlations among continuing frames at the cost of very little computational source. Extensive experiments on three public datasets show that the proposed ESTINet can achieve faster speed than the competitors, while maintaining better performance than the state-of-the-art methods.

연구 동기 및 목표

• 비디오 프레임 간의 효율적인 시공간 상관관계를 활용하여 강건한 비디오 비강우를 달성하는 데 도전한다.
• 기존 비디오 비강우 모델에서 높은 품질의 비강우와 계산 효율성 사이의 상충 관계를 극복한다.
• 공간 및 시간 특징 학습을 공동 최적화하는 경량의 엔드 투 엔드 프레임워크를 개발하여 강우 줄무늬 제거를 향상시킨다.
• 기존 방법들과 비교해 정량적 지표(PSNR, SSIM)와 추론 속도 측면에서 최고의 성능을 달성한다.

제안 방법

• 스택된 입력 강우 프레임에서 고수준 공간 특징을 추출하기 위해 ResNet 기반의 SICM를 사용한다.
• STIM에서 이전 프레임의 특징을 입력에 연결하는 상호작용-CBLSTM 아키텍처를 도입하며, 스케일 적응을 위해 tanh 활성화 함수를 컨볼루션 연산으로 대체한다.
• ESTM에서 3D DenseNet 유사 아키텍처를 사용하여 시공간 일관성을 향상시키고 현실적인 콘텐츠를 유지하면서 굵은 비강우 출력을 정밀하게 다듬는다.
• STIM 출력에서 시작하여 SICM 및 STIM 구성 요소를 동시에 업데이트할 수 있도록 연속적인 손실 함수를 사용해 엔드 투 엔드 학습을 가능하게 한다.
• 잔차 학습과 이중 방향 장기 기억 단기 기억 메커니즘을 활용해 장거리 시간적 의존성을 효율적으로 모델링한다.
• STIM에서 계산 오버헤드를 최소화하고 가벼운, 파rameter 효율적인 모듈을 사용하여 속도를 최적화한다.

실험 결과

연구 질문

• RQ1 경량 시공간 상호작용 모듈은 연속된 비디오 프레임 간의 시간적 상관관계를 효과적으로 모델링할 수 있는가?
• RQ2 공간 및 시간 특징 학습의 통합은 별도의 공간 또는 시간 모델링에 비해 비강우 성능을 어떻게 향상시키는가?
• RQ3 새로운 상호작용-CBLSTM 아키텍처는 최소한의 계산 비용으로 표준 ConvLSTM 또는 CBLSTM에 비해 시간 역학을 얼마나 더 잘 포착할 수 있는가?
• RQ4 3D DenseNet 기반의 정밀화 모듈(ESTM)을 추가함으로써 굵은 비강우 출력의 구조적 및 인지적 정밀도가 어떻게 향상되는가?
• RQ5 제안된 프레임워크는 기존의 최고 수준의 방법들과 비교해 최고의 성능과 더 빠른 추론 속도를 동시에 달성할 수 있는가?

주요 결과

• ESTINet는 NTURain 데이터셋에서 PSNR 37.48 dB, SSIM 0.9700을 기록하며, 비교한 모든 최고 수준의 방법들을 능가한다.
• 제거 분석 결과, 입력 프레임 수를 1에서 5로 늘일 경우 PSNR가 2 dB 이상 향상되어 시간 모델링의 가치를 입증한다.
• 상호작용-CBLSTM 모듈(STIM)은 ConvLSTM 및 B-ConvLSTM 변종보다 우수한 성능을 보이며, 최대 0.72 dB의 PSNR 향상을 달성한다.
• 완전한 모델(SICM + STIM (#5) + ESTM)은 SICM + STIM (#5) + 2DCNN에 비해 0.2 dB 향상된 성능을 기록하여 ESTM에서 3D 컨볼루션의 효과를 입증한다.
• ESTINet는 FastDeRain과 같은 경쟁 방법들보다 뚜렷이 빠른데, 표준 데스크톱 GPU(GTX 1080 Ti)에서 더 빠른 추론 속도를 보인다.
• NTURain에서의 실제 강우 비디오에 대한 정성적 결과는 세밀한 디테일과 질감을 유지하면서 효과적으로 강우 줄무늬를 제거하는 것으로 나타났다.