[論文レビュー] Deep Learning for Image Super-resolution: A Survey

Zhihao Wang, Jian Chen+1 more|arXiv (Cornell University)|Feb 16, 2019

Advanced Image Processing Techniques参考文献 212被引用数 74

ひとこと要約

この調査は、画像超解像に対する深層学習アプローチをレビューし、手法を監督付き、非監督付き、ドメイン特化に分類し、データセット、評価指標、アーキテクチャ、アップサンプリング技術、および将来の方向性を論じる。

ABSTRACT

Image Super-Resolution (SR) is an important class of image processing techniques to enhance the resolution of images and videos in computer vision. Recent years have witnessed remarkable progress of image super-resolution using deep learning techniques. This article aims to provide a comprehensive survey on recent advances of image super-resolution using deep learning approaches. In general, we can roughly group the existing studies of SR techniques into three major categories: supervised SR, unsupervised SR, and domain-specific SR. In addition, we also cover some other important issues, such as publicly available benchmark datasets and performance evaluation metrics. Finally, we conclude this survey by highlighting several future directions and open issues which should be further addressed by the community in the future.

研究の動機と目的

• 深層学習ベースの画像超解像（SR）技術の総合的概観を提供する。
• 問題設定、データセット、性能指標、および適用分野ごとにSR手法を整理する。
• 監督付きSRモデルの中核要素を分析し、その利点と限界を要約する。
• DLベースのSRにおける未解決の課題、チャレンジ、および将来の研究方向性を強調する。

提案手法

• SRアプローチを監督あり、非監督、ドメイン特化のカテゴリに分類する。
• SRで用いられる問題設定、劣化モデル、損失関数をレビューする。
• 監督付きSRを系統的にモジュール化された構成要素に分解する：フレームワーク、アップサンプリング手法、ネットワーク設計、学習戦略。
• SRのベンチマークデータセットと評価指標を論じる。
• ドメイン特化SRアプリケーションと公開課題（NTIRE、PIRM）を要約する。

実験結果

リサーチクエスチョン

• RQ1 深層学習を用いた画像SRで用いられる主な問題定義と劣化モデルは何か？
• RQ2 SRベンチマークを支配するデータセットと評価指標は何か、そしてそれらは報告性能にどう影響するか？
• RQ3 効果的な監督付きDL-SRモデルを構成するモジュラー要素は何か、そしてそれらのトレードオフは？
• RQ4 主要な非監督およびドメイン特化SRアプローチは何か、そして監督付き手法とどう異なるか？
• RQ5 DLベースのSRコミュニティにとって最も喫緊の将来の方向性と未解決の課題は何か？

主な発見

• DLベースのSR手法は、さまざまなアーキテクチャ、損失関数、学習戦略を組み合わせることで、ベンチマーク全体で最新性能を達成している。
• 主なSRフレームワークは4つの系に分かれる（事前アップサンプリング、事後アップサンプリング、段階的アップサンプリング、反復的アップンドサンプリング）、それぞれ利点とトレードオフがある。
• 学習可能なアップサンプリング層（転置畳み込み、サブピクセル/シャッフル、メタアップスケール）は現在支配的で、特に事後アップサンプリングフレームワーク内で目立つ。
• 残差学習、再帰学習、アテンション、密結合、マルチパス設計はSRモデルの有効なネットワーク設計戦略である。
• ベンチマークデータセットとIQA指標（PSNR、SSIM、MOS、NIQE、LPIPS）はSR品質の評価方法を形作り、知覚重視と歪み指向の指標の間で継続的な議論がある。
• 公開SRチャレンジ（NTIRE、PIRM）は、現実的な劣化と知覚-歪みのトレードオフへ研究を推進している。