[論文レビュー] A Deep Journey into Super-resolution: A survey

Saeed Anwar, Salman Khan+1 more|arXiv (Cornell University)|Apr 16, 2019

Advanced Image Processing Techniques参考文献 104被引用数 92

ひとこと要約

この論文は30件を超える深層CNNベースの単一画像超解像（SISR）法を概観し、9カテゴリの分類法を提案し、6つのデータセットで比較を行い、進展・トレードオフ・今後の方向性を浮き彫りにします。

ABSTRACT

Deep convolutional networks based super-resolution is a fast-growing field with numerous practical applications. In this exposition, we extensively compare 30+ state-of-the-art super-resolution Convolutional Neural Networks (CNNs) over three classical and three recently introduced challenging datasets to benchmark single image super-resolution. We introduce a taxonomy for deep-learning based super-resolution networks that groups existing methods into nine categories including linear, residual, multi-branch, recursive, progressive, attention-based and adversarial designs. We also provide comparisons between the models in terms of network complexity, memory footprint, model input and output, learning details, the type of network losses and important architectural differences (e.g., depth, skip-connections, filters). The extensive evaluation performed, shows the consistent and rapid growth in the accuracy in the past few years along with a corresponding boost in model complexity and the availability of large-scale datasets. It is also observed that the pioneering methods identified as the benchmark have been significantly outperformed by the current contenders. Despite the progress in recent years, we identify several shortcomings of existing techniques and provide future research directions towards the solution of these open problems.

研究の動機と目的

• 深層学習アプローチによる単一画像SR（SISR）に関する包括的なレビューを提供する。
• SRネットワークを設計差異に基づく分類法を導入する。
• 方法ごとの設計選択、トレーニングの詳細、損失関数を分析する。
• 6つの公開SISRデータセットで手法を評価する。
• 現在の制約と今後の研究方向を検討する。

提案手法

• SRネットワークの九カテゴリ分類法を提案する（線形、残差、マルチブランチ、再帰、逐次、注意機構ベース、敵対的、密結合型、その他）。
• アーキテクチャ、パラメータ、メモリフットプリント、入力/出力、損失などの観点で30超の最先端SR-CNNを体系的に比較する。
• 初期アップサンプリング、後期アップサンプリング、再帰、逐次、密結合アーキテクチャを横断してネットワーク設計を調査する。
• 6つの公開SISRデータセットで手法を評価し、進展と傾向を把握する。
• 主要なアーキテクチャの革新とそれが性能と効率に与える影響を強調する。

実験結果

リサーチクエスチョン

• RQ1 現代のSR-CNNはアーキテクチャ設計においてどのように異なり、これらの設計は性能と複雑さにどのように影響するのか？
• RQ2 早期アップサンプリングと後期アップサンプリング、線形・残差・再帰設計の間にはどのようなトレードオフがあるのか？
• RQ3 データセットと損失関数はSR品質の向上にどう進化してきたのか、どのギャップが残っているのか？
• RQ4 SR手法の現在の欠点は何で、今後最も有望な方向は何か？

主な発見

• 近年、SR精度の一貫した急速な向上とともに、モデルの複雑さとデータセット規模が拡大している。
• 評価データセット全体において、初期のベンチマーク手法は現在の競合手法により凌駕されている。
• 論文は評価と再現性を促進する公開データセットとコードを提供している。
• 残差、再帰、密結合などの異なるアーキテクチャ系統はSRタスクにおいてそれぞれ異なる強みを持つ。
• 評価は性能、速度、メモリ要件のトレードオフを手法間で強調している。