[논문 리뷰] Revisiting Temporal Modeling for Video Super-resolution

Takashi Isobe, Fang Zhu외 2명|arXiv (Cornell University)|2020. 08. 13.

Advanced Image Processing Techniques참고 문헌 25인용 수 63

한 줄 요약

논문은 세 가지 시간 모델링 체계(초기 융합이 있는 2D CNN, 느린 융합이 있는 3D CNN, 그리고 RNN)를 비교하고, Recurrent Residual Network (RRN)를 제안하여 최신 결과를 달성하면서 효율성도 높다.

ABSTRACT

Video super-resolution plays an important role in surveillance video analysis and ultra-high-definition video display, which has drawn much attention in both the research and industrial communities. Although many deep learning-based VSR methods have been proposed, it is hard to directly compare these methods since the different loss functions and training datasets have a significant impact on the super-resolution results. In this work, we carefully study and compare three temporal modeling methods (2D CNN with early fusion, 3D CNN with slow fusion and Recurrent Neural Network) for video super-resolution. We also propose a novel Recurrent Residual Network (RRN) for efficient video super-resolution, where residual learning is utilized to stabilize the training of RNN and meanwhile to boost the super-resolution performance. Extensive experiments show that the proposed RRN is highly computational efficiency and produces temporal consistent VSR results with finer details than other temporal modeling methods. Besides, the proposed method achieves state-of-the-art results on several widely used benchmarks.

연구 동기 및 목표

• 다른 시간 모델링 접근 방식(2D 조기 융합, 3D 느린 융합, 및 RNN)이 VSR 성능에 미치는 영향을 평가한다.
• 고정 손실(L1)과 공개 학습 세트(Vimeo-90k)를 사용하여 공정한 비교를 확립한다.
• 훈련 안정성과 질감 디테일 보존을 위한 잔차 연결이 있는 효율적인 순환 구조(RRN)를 제안한다.
• RRN이 강한 SR 품질을 달성하면서도 우수한 속도-효율 트레이드오프를 제공함을 보여준다.
• Vid4, SPMCS, UDM10 벤치마크 전반에 걸쳐 실증적 증거를 제공한다.

제안 방법

• 동일 깊이와 고정 L1 손실 하에서 세 가지 시간 모델링 방법을 평가한다: 2D CNN with early fusion, 3D CNN with slow fusion, 그리고 RNN.
• 학습 안정화와 장기간 시퀀스에서 질감 디테일 보존을 위해 은닉 상태에 identitySkip를 가지는 Residual Recurrent Network (RRN)을 도입한다.
• RRN의 경우, Eq. 3과 같이 두 프레임 입력을 K블록에 걸친 잔차 학습과 결합하는 은닉 상태 방정식을 정의한다.
• Vimeo-90k에서 64-pixel LR 패치로 학습시키고(고해상도에서 가우시안 블러로 4배 다운샘플링, sigma=1.6) Vid4, SPMCS, UDM10에서 평가한다.
• 밝기 채널 및 색채 채널에서 PSNR/SSIM을 사용해 성능을 비교하고 은닉 상태의 잔차 연결에 대한 소거 연구를 수행한다.

실험 결과

연구 질문

• RQ1 고정된 손실 및 데이터세트 하에서 2D early fusion, 3D slow fusion, 및 RNN 시간 모델링 전략은 비디오 초해상도에서 어떻게 비교되는가?
• RQ2 순환 잔차 아키텍처가 VSR의 안정성, 질감 보존 및 시간적 일관성을 향상시키는가?
• RQ3 이들 시간 모델링 방법 간의 계산 효율성과 SR 품질 간의 트레이드오프는 무엇인가?
• RQ4 제안된 RRN이 표준 VSR 벤치마크에서 경쟁력 있는 런타임으로 최첨단 결과를 달성할 수 있는가?
• RQ5 RRN 은닉 상태에 아이덴티티 매핑(identity mapping)을 포함하는 것이 기울기 안정성과 성능에 어떤 영향을 미치는가?

주요 결과

• RRN 기반 방법은 Vid4, SPMCS, UDM10에서 우수한 PSNR/SSIM을 달성하면서도 3D CNN 접근법보다 계산 효율적이다.
• RRN-L은 Vid4, SPMCS, UDM10에서 각각 PSNR이 0.44/0.20/0.54 dB 더 나은 결과를 보이며, 23배 이상 빠르다.
• Residual learning in the RRN hidden state stabilizes training and allows deeper hidden states, improving VSR performance.
• RNN-based methods exhibit superior temporal consistency and reduced flickering compared to CNN-based temporal models.
• RRN은 세 개의 공개 벤치마크에서 최첨단 결과를 달성하고 런타임에서도 competitive하게 동작한다(예: RRN-S는 720p에서 약 33fps, RRN-L은 약 22fps).
• Explicit motion-compensation approaches did not outperform the proposed implicit temporal modeling approach in their experiments.