[논문 리뷰] PP-MSVSR: Multi-Stage Video Super-Resolution

Lielin Jiang, Na Wang외 3명|arXiv (Cornell University)|2021. 12. 06.

Advanced Image Processing Techniques인용 수 8

한 줄 요약

이 논문은 지역 병합 모듈, 보조 손실, 재정렬 모듈을 통해 프레임 간 특징 병합과 정렬을 향상시키는 다단계 영상 초해상도 네트워크인 PP-MSVSR를 제안한다. 단지 1.45M 파라미터로도 Vid4에서 28.13dB PSNR를 달성하며, SOTA 기법을 능가하는 성능을 내며 파라미터 수를 줄였다.

ABSTRACT

Different from the Single Image Super-Resolution(SISR) task, the key for Video Super-Resolution(VSR) task is to make full use of complementary information across frames to reconstruct the high-resolution sequence. Since images from different frames with diverse motion and scene, accurately aligning multiple frames and effectively fusing different frames has always been the key research work of VSR tasks. To utilize rich complementary information of neighboring frames, in this paper, we propose a multi-stage VSR deep architecture, dubbed as PP-MSVSR, with local fusion module, auxiliary loss and re-align module to refine the enhanced result progressively. Specifically, in order to strengthen the fusion of features across frames in feature propagation, a local fusion module is designed in stage-1 to perform local feature fusion before feature propagation. Moreover, we introduce an auxiliary loss in stage-2 to make the features obtained by the propagation module reserve more correlated information connected to the HR space, and introduce a re-align module in stage-3 to make full use of the feature information of the previous stage. Extensive experiments substantiate that PP-MSVSR achieves a promising performance of Vid4 datasets, which achieves a PSNR of 28.13dB with only 1.45M parameters. And the PP-MSVSR-L exceeds all state of the art method on REDS4 datasets with considerable parameters. Code and models will be released in PaddleGAN\footnote{https://github.com/PaddlePaddle/PaddleGAN.}.

연구 동기 및 목표

• 프레임 간 점진적인 특징 병합과 정렬을 통해 영상 초해상도 성능을 향상시키기.
• 기존의 슬라이딩 윈도우 및 순환 VSR 프레임워크의 한계를 보완하기 위해 그들의 장점을 융합하기.
• 단계적 개선을 통해 모델 복잡도를 감소시키면서도 성능을 유지하거나 향상시키기.
• 특징 전파 과정에서 고해상도 상관 정보를 유지함으로써 특징 표현을 향상시키기.

제안 방법

• 단계-1에서 특징 전파 이전에 조기 특징 병합을 수행하는 지역 병합 모듈(LFM)을 도입하여 프레임 간 특징 정렬을 향상시킨다.
• 단계-2에서 전파 모듈이 고해상도 관련 특징을 유지하도록 유도하기 위해 보조 손실을 적용하여 특징 상관관계를 HR 공간과 강화한다.
• 단계-3에서 이전 단계의 정보를 활용하여 특징을 정밀하게 보정하는 재정렬 모듈(RAM)을 제안한다. 이는 정렬 정확도를 향상시킨다.
• 모델은 VSR 파이프라인을 순차적인 단계로 분해하는 다단계 아키텍처를 사용하여 출력의 점진적 개선을 가능하게 한다.
• 슬라이딩 윈도우와 순환 설계 원리를 융합하여 시간적 맥락을 유지하면서도 모델 효율성을 확보한다.
• 학습 안정성을 확보하기 위해 수정된 SPYNet을 광학 흐름 추정에 사용하고, Charbonnier 손실을 적용한다.

실험 결과

연구 질문

• RQ1 점진적으로 특징 병합과 정렬을 개선하는 다단계 아키텍처가 영상 초해상도 성능 향상에 기여할 수 있는가?
• RQ2 특징 전파 이전에 지역 병합 모듈을 도입함으로써 프레임 간 특징 표현에 어떤 영향을 미치는가?
• RQ3 전파 단계에서 보조 손실을 도입함으로써 고해상도 관련 특징을 얼마나 잘 유지할 수 있는가?
• RQ4 이전 단계의 특징을 활용하는 재정렬 모듈이 정렬 정확도와 복원 품질을 추가로 향상시킬 수 있는가?
• RQ5 슬라이딩 윈도우와 순환 설계 원리를 융합함으로써 더 적은 파라미터로 더 나은 성능을 달성할 수 있는가?

주요 결과

• PP-MSVSR는 단지 1.45M 파라미터로 Vid4 데이터셋에서 28.13dB PSNR를 달성하며, 기존 기법들보다 훨씬 적은 파라미터로도 슈퍼리아성능를 냈다.
• REDS4 데이터셋에서 PP-MSVSR는 EDVR-M보다 0.7dB 높은 PSNR를 기록했으며, 파라미터와 FLOPs 수치는 거의 절반 수준이었다.
• RRN 대비 PP-MSVSR는 Vid4에서 0.44dB 높은 PSNR, UDM10에서는 1.1dB 높은 PSNR를 기록했으며, 파라미터 수는 더 적었다.
• PP-MSVSR-L 버전은 파라미터 수가 거의 동일한 수준이었음에도 불구하고, REDS4와 Vid4 데이터셋 모두에서 BasicVSR++를 능가했다.
• 제거 실험 결과, LFM, 보조 손실, RAM 각각이 유의미한 기여를 하였으며, PSNR 향상 폭은 각각 0.12dB, 0.06dB, 0.06dB였다.
• 4× 블러 다운샘플링 조건 하에 Vid4, UDM10, Vimeo-90K-T, REDS4 등 다양한 데이터셋에서 강력한 일반화 성능을 보였다.