[논문 리뷰] Video Super Resolution Based on Deep Learning: A Comprehensive Survey

Hongying Liu, Zhubo Ruan외 6명|arXiv (Cornell University)|2020. 07. 25.

Advanced Image Processing Techniques인용 수 40

한 줄 요약

이 논문은 37개의 딥러닝 기반 VSR 방법을 조사하고, 인터프레임 정보 사용에 따른 분류법을 제안하며, 아키텍처, 정렬, 벤치마크를 분석하여 진전과 도전 과제를 요약한다.

ABSTRACT

In recent years, deep learning has made great progress in many fields such as image recognition, natural language processing, speech recognition and video super-resolution. In this survey, we comprehensively investigate 33 state-of-the-art video super-resolution (VSR) methods based on deep learning. It is well known that the leverage of information within video frames is important for video super-resolution. Thus we propose a taxonomy and classify the methods into six sub-categories according to the ways of utilizing inter-frame information. Moreover, the architectures and implementation details of all the methods are depicted in detail. Finally, we summarize and compare the performance of the representative VSR method on some benchmark datasets. We also discuss some challenges, which need to be further addressed by researchers in the community of VSR. To the best of our knowledge, this work is the first systematic review on VSR tasks, and it is expected to make a contribution to the development of recent studies in this area and potentially deepen our understanding to the VSR techniques based on deep learning.

연구 동기 및 목표

• 딥러닝 기반 비디오 초해상도(VSR) 방법에 대한 포괄적 리뷰를 제공한다.
• VSR 방법을 인터프레임 정보를 어떻게 활용하는지에 따라 분류하는 분류체계를 제안한다.
• 아키텍처, 구현 세부사항, 벤치마크 데이터셋에서의 성능을 요약한다.
• 현실적인 응용과 현재 도전과제를 논의하여 향후 연구 방향을 제시한다.

제안 방법

• 딥러닝 기반의 최첨단 VSR 방법 37개를 조사한다.
• 방법을 정렬(ad alignment) 여부에 따라 분류하는 분류체계를 제안한다.
• 주요 방법의 대표적 아키텍처와 학습 손실을 설명한다.
• 공개 벤치마크 및 데이터셋에서의 성능 추이를 비교한다(예: Vid4, UVGD, REDS).
• 향후 연구 방향을 제시하기 위해 응용과 도전과제를 논의한다.

실험 결과

연구 질문

• RQ1 딥러닝 기반 VSR 방법은 인터프레임 정보를 어떻게 활용하여 재구성을 개선하는가?
• RQ2 VSR에서의 주요 아키텍처 패러다임(정렬-대-비정렬)과 그 트레이드오프는 무엇인가?
• RQ3 최신 VSR 방법의 일반적인 손실 함수, 데이터 요구사항, 벤치마크 성능은 무엇인가?
• RQ4 실용적 고려사항과 도전과제는 VSR 기술의 개발에 어떤 영향을 미치는가?
• RQ5 수용 영역과 시간적 모델링 측면에서 이 분야는 어떻게 진화해 왔는가?

주요 결과

• VSR 방법의 다양화가 정렬 중심에서 다수의 비정렬(non-alignment) 접근으로 진화하고 있다.
• 수용 영역은 로컬에서 글로벌로 확장되며 더 긴 시퀀스와 비지역 상호작용을 통해 확장된다.
• MEMC 기반 방법은 정합을 위해 딥러닝 기반 광류 추정을 점차 더 많이 의존한다.
• 정렬 방식과 비정렬 방식 모두 벤치마크에서 경쟁력 있는 성능을 달성할 수 있다.
• 최근 방법들은 Vid4/UVGD에서 REDS로 발전하는 데이터세트에서의 복잡한 모션과 장면 변화 처리에 초점을 맞추며 실용성을 강조한다.