[論文レビュー] A Systematic Survey of Deep Learning-based Single-Image Super-Resolution

Juncheng Li, Zehua Pei+5 more|arXiv (Cornell University)|Sep 29, 2021

Advanced Image Processing Techniques参考文献 162被引用数 28

ひとこと要約

この論文は、深層学習ベースの単一画像超解像（SISR）について網羅的な調査を提供し、対象の目的別に手法を整理し、データセット、アップサンプリング技術、損失、評価指標を要約している。 また、DLベースのSISRにおける課題と今後の方向性についても論じている。

ABSTRACT

Single-image super-resolution (SISR) is an important task in image processing, which aims to enhance the resolution of imaging systems. Recently, SISR has made a huge leap and has achieved promising results with the help of deep learning (DL). In this survey, we give an overview of DL-based SISR methods and group them according to their design targets. Specifically, we first introduce the problem definition, research background, and the significance of SISR. Secondly, we introduce some related works, including benchmark datasets, upsampling methods, optimization objectives, and image quality assessment methods. Thirdly, we provide a detailed investigation of SISR and give some domain-specific applications of it. Fourthly, we present the reconstruction results of some classic SISR methods to intuitively know their performance. Finally, we discuss some issues that still exist in SISR and summarize some new trends and future directions. This is an exhaustive survey of SISR, which can help researchers better understand SISR and inspire more exciting research in this field. An investigation project for SISR is provided at https://github.com/CV-JunchengLi/SISR-Survey.

研究の動機と目的

• 特定のターゲットに基づいて組織化されたDLベースのSISR手法の包括的概要を提供する。
• SISRで用いられるベンチマークデータセット、劣化モデル、アップサンプリング技術を要約する。
• SISRにおける最適化目的と画像品質評価手法をレビューする。
• 現状の課題・ギャップ・今後の方向性について論じ、新しい研究を刺激する。

提案手法

• DLベースのSISR手法を、再構成効率、再構成精度、知覚品質、さらなる改善の4つのターゲット別カテゴリに分類する。
• BI、BD、DNモードを含むSISRの問題設定と劣化モデルを説明する。
• 事前アップサンプリング、事後アップサンプリング、サブピクセル畳み込み層などのアップサンプリング手法を要約する。
• ピクセル損失、コンテンツ損失、対生成敵損失、事前損失を含む損失関数のタイプと、それらが訓練の指針において果たす役割を詳述する。
• 教師あり学習と教師なし学習の戦略と、それらの最適化目的を説明する。
• 再構成精度、知覚品質、再構成効率の評価手法を論じる。

Figure 1: SISR aims to reconstruct a super-resolution (SR) image from its degraded low-resolution (LR) one.

実験結果

リサーチクエスチョン

• RQ1 再構成ターゲット別に分類した場合、主なDLベースのSISR手法は何か。
• RQ2 SISRモデルの訓練・評価に広く用いられるベンチマークデータセットと劣化モデルは何か。
• RQ3 一般的なアップサンプリング戦略と損失関数は何で、それらは結果にどのように影響するか。
• RQ4 精度、知覚品質、そして効率の観点からDLベースのSISR手法はどのように評価されているか。

主な発見

• 本調査は100以上のSR手法を含み、明確さのためのターゲットベースの分類を強調している。
• DIV2K は広く用いられる訓練データセットとして同定され、RealSR は実世界の対になったLR/HRデータを表す。
• 転置畳み込みやサブピクセル畳み込みを含む多様なアップサンプリング手法が論じられ、効率と精度のトレードオフを強調している。
• 一般的な損失関数にはピクセル損失（L1/MSE/Charbonnier）、コンテンツ損失、対立的損失、事前損失が含まれ、しばしば組み合わせて使用される。
• 評価は精度のためのPSNR/SSIM、知覚品質のためのNIQE/PI/LPIPS/MOSをカバーし、歪みと知覚結果のトレードオフを指摘している。
• 本論文は性能と実用性のバランスを取るための、モデルサイズ、実行時間、Mult-Adds といった再構成効率指標の指針を提供する。

Figure 2: The content and taxonomy of this survey. In this survey, we divide the DL-based SISR methods into four categories, which are classified according to their specific targets. Among them, the dark gray blocks are the focus methods in this survey.