[논문 리뷰] Real-Time Video Super-Resolution with Spatio-Temporal Networks and Motion Compensation

José Caballero, Christian Ledig외 5명|arXiv (Cornell University)|2016. 11. 16.

Advanced Image Processing Techniques참고 문헌 31인용 수 11

한 줄 요약

이 논문은 다중 해상도 공간 변환기와 함께 엔드 투 엔드로 학습 가능한 운동 보정을 통한 시공간 서브픽셀 컨볼루션 네트워크를 사용한 실시간 영상 슈퍼레졸루션 방법을 제안한다. 초기 융합, 느린 융합 및 3D 컨볼루션을 공동 운동 보정과 통합함으로써, 이전 방법들보다 더 높은 정확도와 시간적 일관성을 달성하면서도 계산 비용을 30% 감소시키거나 유사한 비용에서 PSNR를 0.2dB 향상시킨다.

ABSTRACT

Convolutional neural networks have enabled accurate image super-resolution in real-time. However, recent attempts to benefit from temporal correlations in video super-resolution have been limited to naive or inefficient architectures. In this paper, we introduce spatio-temporal sub-pixel convolution networks that effectively exploit temporal redundancies and improve reconstruction accuracy while maintaining real-time speed. Specifically, we discuss the use of early fusion, slow fusion and 3D convolutions for the joint processing of multiple consecutive video frames. We also propose a novel joint motion compensation and video super-resolution algorithm that is orders of magnitude more efficient than competing methods, relying on a fast multi-resolution spatial transformer module that is end-to-end trainable. These contributions provide both higher accuracy and temporally more consistent videos, which we confirm qualitatively and quantitatively. Relative to single-frame models, spatio-temporal networks can either reduce the computational cost by 30% whilst maintaining the same quality or provide a 0.2dB gain for a similar computational cost. Results on publicly available datasets demonstrate that the proposed algorithms surpass current state-of-the-art performance in both accuracy and efficiency.

연구 동기 및 목표

• 프레임 간 시간적 상관관계를 활용하면서도 실시간 영상 슈퍼레졸루션을 달성하는 도전 과제를 해결한다.
• 단순하거나 별도의 운동 보정에 의존하는 이전 영상 SR 방법의 비효율성과 제한된 성능을 극복한다.
• 운동 보정과 슈퍼레졸루션을 통합한 공동 학습 프레임워크를 개발하여 재구성 품질과 시간적 일관성을 향상시킨다.
• 단일 프레임 또는 최적화되지 않은 시공간 모델보다 더 높은 정확도와 낮은 계산 비용을 동시에 달성한다.
• PSNR, SSIM 및 MOVIE 지수 측면에서 공개 데이터셋에서 최신 기술 성능을 입증하고, 실시간 추론 기능을 갖춘다.

제안 방법

• 시간적 부재를 활용하기 위해 초기 융합, 느린 융합 또는 3D 컨볼루션을 사용하는 다중 연속 프레임을 처리하는 시공간 서브픽셀 컨볼루션 네트워크(vespcn)를 활용한다.
• 엔드 투 엔드로 학습 가능한 다중 해상도 공간 변환기 모듈을 사용한 새로운 공동 운동 보정 메커니즘을 도입하여, 광학 흐름 기반 사전 처리보다 훨씬 빠른 속도를 확보한다.
• 슈퍼레졸루션 이전에 프레임 간 운동을 추정하고 보정하기 위해 공간 변환기를 적용함으로써 특징 정렬과 재구성 정밀도를 향상시킨다.
• 서브픽셀 컨볼루션을 사용해 저해상도에서 고해상도 공간으로의 업스케일링 연산을 직접 학습함으로써, 이중선형 보간보다 계산 비용을 절감한다.
• 초기 융합, 느린 융합 및 3D 컨볼루션의 세 가지 네트워크 아키텍처를 각각 시간 모델링과 계산 효율성의 균형을 고려해 설계한다.
• 운동 추정과 슈퍼레졸루션을 포함한 전체 파이프라인을 엔드 투 엔드로 학습하여 공간적 세부 사항과 시간적 일관성 모두를 공동 최적화한다.

실험 결과

연구 질문

• RQ1 공동 운동 보정을 갖춘 시공간 네트워크가 단일 프레임 모델보다 더 높은 정확도로 실시간 영상 슈퍼레졸루션을 달성할 수 있는가?
• RQ2 초기 융합, 느린 융합, 3D 융합 등의 다양한 융합 전략은 재구성 품질과 계산 효율성 측면에서 어떻게 비교되는가?
• RQ3 엔드 투 엔드로 학습 가능한 운동 보정은 외부 광학 흐름 또는 운동 보정 없이 비교할 때 시간적 일관성과 PSNR를 얼마나 향상시키는가?
• RQ4 단일 프레임 모델과 동일한 PSNR를 유지하면서도 계산 비용을 30% 감소시킬 수 있는가?
• RQ5 운동과 슈퍼레졸루션의 공동 학습이 영상 SR에서 순차적 또는 독립적 처리보다 우월한가?

주요 결과

• 제안된 VESPCN 방법은 Vid4 데이터셋에서 PSNR 32.52 dB를 달성하여, SRCNN, ESPCN 및 VSRnet보다 PSNR와 SSIM 모두에서 뛰어나다.
• 9L-E3-MC를 사용할 경우, 단일 프레임 ESPCN 대비 계산 연산을 30% 감소시키면서 동일한 PSNR를 유지하거나, 유사한 비용에서 PSNR를 0.2 dB 향상시킨다.
• 공간 변환기를 통한 운동 보정은 MOVIE 지수를 상당한 폭으로 감소시켜, 보정되지 않은 모델 대비 훨씬 뛰어난 시간적 일관성을 보여준다.
• ×3 및 ×4 업스케일링에 대해 각각 3.6 및 2.0 GOps의 추가 계산량만을 유발하므로, VSRnet의 운동 보정(프레임당 55초)보다 약 1000배 빠르다.
• 시각적 결과는 VESPCN이 더 잘 유지되는 미세 구조와 질감을 보이며, 번짐 현상이 감소하고 운동 일관성이 향상됨을 보여준다.
• 실시간 추론을 달성하였으며, ESPCN ×4는 프레임당 29ms로 실행되고, 운동 보정 버전은 HD 영상에서 100ms 이내 성능을 유지한다.