[論文レビュー] A Comprehensive Review of Deep Learning-based Single Image Super-resolution

Syed Muhammad Arsalan Bashir, Yi Wang+2 more|arXiv (Cornell University)|Feb 18, 2021

Advanced Image Processing Techniques参考文献 224被引用数 10

ひとこと要約

本稿は、深層学習に基づく単一画像超解像（SISR）の包括的レビューを提供し、手法を古典的、教師あり、教師なし、ドメイン特化型のアプローチに分類している。EDSR、SRFBN、WRANといった最先端モデルを標準ベンチマークを用いて評価し、SISR分野におけるパフォーマンス、指標、データセット、今後の研究方向性についての洞察を提示している。

ABSTRACT

Image super-resolution (SR) is one of the vital image processing methods that improve the resolution of an image in the field of computer vision. In the last two decades, significant progress has been made in the field of super-resolution, especially by utilizing deep learning methods. This survey is an effort to provide a detailed survey of recent progress in single-image super-resolution in the perspective of deep learning while also informing about the initial classical methods used for image super-resolution. The survey classifies the image SR methods into four categories, i.e., classical methods, supervised learning-based methods, unsupervised learning-based methods, and domain-specific SR methods. We also introduce the problem of SR to provide intuition about image quality metrics, available reference datasets, and SR challenges. Deep learning-based approaches of SR are evaluated using a reference dataset. Some of the reviewed state-of-the-art image SR methods include the enhanced deep SR network (EDSR), cycle-in-cycle GAN (CinCGAN), multiscale residual network (MSRN), meta residual dense network (Meta-RDN), recurrent back-projection network (RBPN), second-order attention network (SAN), SR feedback network (SRFBN) and the wavelet-based residual attention network (WRAN). Finally, this survey is concluded with future directions and trends in SR and open problems in SR to be addressed by the researchers.

研究の動機と目的

• 深層学習に基づく単一画像超解像（SISR）技術について、詳細かつ最新のサーベイを提供すること。
• SISR手法を4つのカテゴリに分類すること：古典的、教師あり学習ベース、教師なし学習ベース、ドメイン特化型のアプローチ。
• 基準データセットと標準的な画像品質指標を用いて、最先端のSISRモデルを評価すること。
• 研究者および実務家向けに、未解決の問題点と今後の研究方向性を特定すること。
• SISRの基礎的理解を提供すること。これには、課題、データセット、パフォーマンス評価基準が含まれる。

提案手法

• 本サーベイは、SISR手法を4つのカテゴリに分類する：古典的、教師あり学習ベース、教師なし学習ベース、ドメイン特化型の手法。
• EDSR、RBPN、MSRN、Meta-RDN、SAN、SRFBN、WRANといった主要な深層学習アーキテクチャの設計とパフォーマンスに基づき分析している。
• 本稿は、標準的な基準データセットと一般的な画像品質指標（PSNRとSSIM）を用いてモデルを評価している。
• 残差学習、アテンションメカニズム、マルチスケール特徴抽出の役割がSISRパフォーマンス向上に与える影響を検討している。
• 生成的敵対ネットワーク（GAN）の役割、特にCinCGANを含むGANベースの手法が知覚的品質向上に与える影響を検討している。
• 最近のSISRフレームワークにおけるウェーブレットベースの表現とフィードバック機構の影響を検証している。

実験結果

リサーチクエスチョン

• RQ1 過去10年間で、深層学習に基づく単一画像超解像分野にどのような主な進歩が見られたか？
• RQ2 教師あり、教師なし、ドメイン特化型のSISR手法は、アーキテクチャとパフォーマンスにおいてどのように異なるか？
• RQ3 標準ベンチマークで最先端の結果を達成する深層学習アーキテクチャは何か。そのコアなイノベーションは何か？
• RQ4 一般化性と実世界への適用性に関して、現在のSISR研究における制限事項と未解決の課題は何か？
• RQ5 異なる画像品質指標とデータセットは、SISRモデルの評価と比較にどのように影響を与えるか？

主な発見

• EDSR、RBPN、SRFBNは、DIV2KやSet5といった標準ベンチマークで高いPSNRとSSIMスコアを達成しており、残差学習とフィードバック機構の有効性を示している。
• アテンションメカニズムを組み込んだモデル（SANやMeta-RDN）は、スケールをまたがる関連特徴に注目することで、パフォーマンスが向上している。
• GANベースの手法（CinCGANなど）は知覚的品質を向上させるが、PSNRが低下する可能性があることから、知覚的品質と客観的指標のトレードオフが顕在化している。
• ウェーブレットベースのネットワーク（WRANなど）は、周波数ドメインにおけるマルチスケール表現を活用することで、再構成の正確性が向上している。
• 本サーベイは、実世界応用に向けた軽量で効率的なアーキテクチャやドメイン特化型の適応への傾向の増大を特定している。
• 進展は見られても、多様な画像ドメインにおける一般化性、ノイズへのロバストネス、指標間での一貫性のあるパフォーマンスが維持されないという課題は依然として残っている。