[論文レビュー] Video Super Resolution Based on Deep Learning: A Comprehensive Survey

Hongying Liu, Zhubo Ruan+6 more|arXiv (Cornell University)|Jul 25, 2020

Advanced Image Processing Techniques被引用数 40

ひとこと要約

この論文は深層学習ベースの 37 の VSR 手法を概説し、フレーム間情報の利用による分類法を提案し、アーキテクチャ・整列・ベンチマークを分析して、進展と課題を要約します。

ABSTRACT

In recent years, deep learning has made great progress in many fields such as image recognition, natural language processing, speech recognition and video super-resolution. In this survey, we comprehensively investigate 33 state-of-the-art video super-resolution (VSR) methods based on deep learning. It is well known that the leverage of information within video frames is important for video super-resolution. Thus we propose a taxonomy and classify the methods into six sub-categories according to the ways of utilizing inter-frame information. Moreover, the architectures and implementation details of all the methods are depicted in detail. Finally, we summarize and compare the performance of the representative VSR method on some benchmark datasets. We also discuss some challenges, which need to be further addressed by researchers in the community of VSR. To the best of our knowledge, this work is the first systematic review on VSR tasks, and it is expected to make a contribution to the development of recent studies in this area and potentially deepen our understanding to the VSR techniques based on deep learning.

研究の動機と目的

• 深層学習ベースのビデオ超解像（VSR）手法の総合的なレビューを提供する。
• フレーム間情報の利用方法に基づいてVSR手法を分類する分類法を提案する。
• アーキテクシャ、実装の詳細、およびベンチマークデータセットでの性能を要約する。
• 実践的な応用と現在の課題を検討し、今後の研究を指針とする。

提案手法

• 深層学習に基づく最先端の VSR 手法37件を調査する。
• 手法を整列（alignment）と非整列（no-alignment）に分類する分類法を提案する。
• 主要手法の代表的なアーキテクチャとトレーニング損失関数を説明する。
• 公開ベンチマークとデータセット（例：Vid4、UVGD、REDS）における性能動向を比較する。
• 将来の研究方向を導くために応用と課題を議論する。

実験結果

リサーチクエスチョン

• RQ1 深層学習ベースのVSR手法は、フレーム間情報をどのように活用して再構成を改善するのか？
• RQ2 VSRにおける主なアーキテクチャ的パラダイム（整列 vs 非整列）とそれらのトレードオフは何か？
• RQ3 最先端のVSR手法の共通の損失関数、データ要件、ベンチマークでの性能は何か？
• RQ4 実践的な考慮事項と課題は、VSR手法の発展をどのように形作るか？
• RQ5 受容野と時間モデリングの観点で分野はどのように進化してきたか？

主な発見

• 整列中心から多くの非整列アプローチへと発展するVSR手法の多様化が見られる。
• 受容野は、長いシーケンスと非局所的相互作用を通じて局所からグローバルへ拡大する。
• MEMCベースの手法は整列のための深層学習による光学フロー推定にますます依存している。
• 整列手法と非整列手法の双方が、ベンチマーク上で競争力のある性能を達成できる。
• 最近の手法は実用性と、 Vid4/UVGDからREDSへと進化するデータセット上での複雑な運動とシーン変化への対応を強調している。