[논문 리뷰] Fast Spatio-Temporal Residual Network for Video Super-Resolution

Sheng Li, Fengxiang He외 4명|arXiv (Cornell University)|2019. 04. 05.

Advanced Image Processing Techniques참고 문헌 21인용 수 5

한 줄 요약

이 논문은 계산 비용을 줄이면서도 시공간적 특징을 유지하는 가볍고 깊은 영상 초해상도 모델인 Fast Spatio-Temporal Residual Network(FSTRN)을 제안한다. FSTRN은 새로운 Fast Residual Block(FRB)에서 분해된 3D 컨볼루션을 사용하여 계산 비용을 감소시키며, 교차 공간 잔차 학습(CRL)과 LR-공간 잔차 학습(LRL)을 도입함으로써 최신 기술 수준의 성능을 달성한다. 기준 데이터셋에서 평균적으로 PSNR는 0.55 dB, SSIM은 0.2 향상되어 이전 방법들을 능가한다.

ABSTRACT

Recently, deep learning based video super-resolution (SR) methods have achieved promising performance. To simultaneously exploit the spatial and temporal information of videos, employing 3-dimensional (3D) convolutions is a natural approach. However, straight utilizing 3D convolutions may lead to an excessively high computational complexity which restricts the depth of video SR models and thus undermine the performance. In this paper, we present a novel fast spatio-temporal residual network (FSTRN) to adopt 3D convolutions for the video SR task in order to enhance the performance while maintaining a low computational load. Specifically, we propose a fast spatio-temporal residual block (FRB) that divide each 3D filter to the product of two 3D filters, which have considerably lower dimensions. Furthermore, we design a cross-space residual learning that directly links the low-resolution space and the high-resolution space, which can greatly relieve the computational burden on the feature fusion and up-scaling parts. Extensive evaluations and comparisons on benchmark datasets validate the strengths of the proposed approach and demonstrate that the proposed network significantly outperforms the current state-of-the-art methods.

연구 동기 및 목표

• 영상 초해상도에서 3D 컨볼루션 네트워크의 높은 계산 비용이 모델의 깊이와 성능을 제한하는 문제를 해결하기 위해.
• 공간적 및 시간적 특징을 함께 모델링하여 시간적 일관성을 유지하고 깜빡임 아티팩트를 줄이기 위해.
• 특징 표현 능력 손실 없이 효율적인 네트워크 설계를 통해 계산 부담을 줄이기 위해.
• 저해상도 및 고해상도 영상 프레임 간의 본질적 유사성을 활용하기 위해 전역 잔차 학습을 도입하기 위해.
• 최소한의 계산 부담으로 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 각 3D 컨볼루션 필터를 두 개의 낮은 차원의 3D 필터로 분해하는 Fast Spatio-Temporal Residual Block(FRB)을 제안하여 FLOPs를 극적으로 감소시킨다.
• 저해상도 입력 공간에서 고해상도 출력 공간으로 직접 연결하는 Cross-Space Residual Learning(CRL)을 도입하여 특징 융합 및 업샘플링 계층의 부담을 줄인다.
• 입력 정보를 저해상도 공간에 유지함으로써 특징 추출을 향상시키기 위해 LR-space residual learning(LRL)을 활용한다.
• FRB와 전역 잔차 학습(GRL)을 조합하여 LRL과 CRL을 포함함으로써 더 깊고 효율적인 네트워크를 구현하고 특징 학습 능력을 향상시킨다.
• CRL에서 이중선형 보간을 사용하여 업샘플링을 수행하며, 분석 결과 다양한 보간 유형에 대해 성능이 뛰어나게 안정적임을 확인하였다.
• 이론적 분석을 통해 일반화 한계를 O(1/√n)로 제시하여 네트워크 깊이와 무관하게 강력한 일반화 능력을 가짐을 나타낸다.

실험 결과

연구 질문

• RQ1 분해된 3D 컨볼루션은 영상 초해상도에서 계산 복잡도를 효과적으로 줄일 수 있는가? 성능을 유지하거나 향상시키는가?
• RQ2 기본 잔차 연결과 비교할 때 교차 공간 잔차 학습(CRL)이 특징 융합 및 업샘플링 단계의 계산 부담을 크게 줄이는가?
• RQ3 전역 잔차 학습(GRL)에서 LRL과 CRL의 조합이 특징 표현 및 모델 정확도를 어떻게 향상시키는가?
• RQ4 제안된 FSTRN은 PSNR, SSIM 및 시각적 품질 측면에서 기존 최신 기술 수준의 방법들보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ5 성능 향상은 아키텍처 혁신 때문인가, 아니면 CRL에서 업샘플링 보간 방법의 선택에 민감한가?

주요 결과

• 기준 영상 초해상도 데이터셋에서 FSTRN은 최신 기술 수준의 방법들보다 평균적으로 PSNR 0.55 dB 향상되고 SSIM 0.2 향상되었다.
• 제안된 FRB는 계산 복잡도를 크게 감소시켜 FLOPs를 과도하게 증가시키지 않으면서도 더 깊은 네트워크 아키텍처를 가능하게 하였다.
• 추론 분석 결과 FRB, LRL, CRL 모두 성능 향상에 독립적으로 기여하며, 특히 CRL이 수렴 속도와 정확도 향상에서 가장 뚜렷한 기여를 하였다.
• FRB, CRL, LRL의 모든 구성 요소를 함께 사용할 경우 네트워크가 더 빨리 수렴하고 더 뛰어난 성능을 달성하여 모듈 간의 상호 보완성이 입증되었다.
• CRL에서 사용된 다양한 보간 방법(bilinear, nearest, bicubic, area) 간 성능에 거의 차이가 없었으며, 이는 성능 향상이 보간 방법 선택이 아닌 CRL 설계 덕분임을 시사한다.
• 시각적 비교 결과 FSTRN은 특히 격자 무늬나 운동 패턴과 같은 도전적인 영역에서 더 선명한 질감과 부드러운 인터프레임 전환을 생성하였다.