[論文レビュー] Blind Image Super-Resolution: A Survey and Beyond

Anran Liu, Yihao Liu+3 more|arXiv (Cornell University)|Jul 7, 2021

Advanced Image Processing Techniques被引用数 12

ひとこと要約

本稿は、目隠し画像超解像（BISR）の体系的サーベイと分類法を提示し、劣化モデル化（明示的／暗黙的）とデータソース（外部データセットまたは単一の低解像度（LR）画像）に基づいて手法を分類する。現在のアプローチにおける主な制限を特定し、実世界の画像における性能ギャップを強調するとともに、単一画像を用いた暗黙的モデル化を、将来の有望な方向性として提案。公平な比較のためのフレームワークと、BISRの課題への深い洞察を提供する。

ABSTRACT

Blind image super-resolution (SR), aiming to super-resolve low-resolution images with unknown degradation, has attracted increasing attention due to its significance in promoting real-world applications. Many novel and effective solutions have been proposed recently, especially with the powerful deep learning techniques. Despite years of efforts, it still remains as a challenging research problem. This paper serves as a systematic review on recent progress in blind image SR, and proposes a taxonomy to categorize existing methods into three different classes according to their ways of degradation modelling and the data used for solving the SR model. This taxonomy helps summarize and distinguish among existing methods. We hope to provide insights into current research states, as well as to reveal novel research directions worth exploring. In addition, we make a summary on commonly used datasets and previous competitions related to blind image SR. Last but not least, a comparison among different methods is provided with detailed analysis on their merits and demerits using both synthetic and real testing images.

研究の動機と目的

• 劣化タイプが不明で複雑な実世界の画像超解像の課題に対処すること。
• 新規の分類法を用いて、目隠し画像超解像（BISR）分野における最近の進展を体系的にレビューすること。
• 既存手法が多様な実世界の劣化に対して一般化できないという制限を明確にすること。
• 劣化モデル化とデータソースに基づいて手法を分類することで、BISR手法間の公平で意味のある比較をガイドすること。
• 単一のLR画像を用いた暗黙的モデル化を、将来の有望な未開拓分野として特定すること。

提案手法

• BISR手法を4つのカテゴリに分類する分類法を提案：明示的／暗黙的劣化モデル化と、外部データセットまたは単一のLR画像をデータソースにした組み合わせ。
• 数学的定式化を用いて、非目隠しと目隠し超解像の違いを明確にし、不一致した劣化仮定が引き起こすドメインギャップに焦点を当てる。
• 各カテゴリに属する代表的手法（例：SRMDとIKC（外部データを用いた明示的モデル）；NPBSRとKernelGAN（単一画像を用いた明示的モデル）；CinCGANとFSSR（外部データを用いた暗黙的モデル））を分析。
• 合成画像と実世界のテスト画像の両方を用いて手法を評価し、仮定が破られる場合の性能低下を強調。
• 公平な比較のため、提案された分類法を活用することを推奨。異なるモデル化／データパラダイム間での比較ではなく、同じカテゴリ内での評価を推奨。
• 将来の研究は、単一のLR画像のみを用いた暗黙的モデル化の探索を提案。人間の干渉やHRリファレンス選択を事前知識として組み込む可能性を示唆。

実験結果

リサーチクエスチョン

• RQ1 異なる劣化モデル化戦略（明示的対暗黙的）は、目隠し画像超解像モデルの一般化性能にどのように影響するか？
• RQ2 既存のBISR手法は、トレーニングデータに含まれない多様な実世界の劣化に対して、どの程度一般化できるか？
• RQ3 最新のBISR手法が、頑健性を主張しているにもかかわらず、なぜ実世界の画像では満足のいく結果を出せないのか？
• RQ4 明示的劣化モデル化や外部データセットに依存する現在のアプローチの主な制限は何か？
• RQ5 単一のLR画像を用いた暗黙的モデル化にはどのような可能性があり、現在の一般化のボトルネックをどのように克服できるか？

主な発見

• 明示的劣化モデル化を採用する手法は、モデル化された劣化タイプ（例：ノイズやぼかし）に対しては良好に機能するが、未知の劣化には著しく失敗する。
• SRResNetとIKCは、ノイズが明示的にモデル化されていない場合、実世界の画像でノイズのテクスチャを保持し、アーチファクトを生じやすい。
• SRMDとUSRNetはノイズアーチファクトを低減するが、高周波数の詳細を損なう傾向があり、未知の劣化に対しては正確なカーネルおよびノイズレベル推定を必要とする。
• RealSRとFSSRはノイズ除去とテクスチャ保持に優れるが、依然として不自然なテクスチャやアーチファクトを生成し、視覚的に不自然な結果をもたらす。
• Forrest Gumpの画像のような実世界の画像において、現在のいかなる手法も一貫して満足のいく結果を出せないことは、複雑で未知の劣化に対する一般化の根本的ギャップを示している。
• 単一画像を用いた暗黙的モデル化は未開拓であり、目隠し画像超解像における一般化性能の向上に極めて有望な将来の方向性であると特定された。