[論文レビュー] SeeSR: Towards Semantics-Aware Real-World Image Super-Resolution

Rongyuan Wu, Tao Yang+4 more|arXiv (Cornell University)|Nov 27, 2023

Advanced Image Processing Techniques被引用数 5

ひとこと要約

SeeSRは、微調整されたプロンプト抽出器を介して劣化に敏感なソフトおよびハードの意味的プロンプトを生成することにより、事前学習済みのテキストから画像への拡散モデルを強化する意味的注意型の現実世界画像超解像手法を提案する。低解像度画像とこれらのプロンプトを統合し、初期ノイズに低解像度特徴を注入することで、SeeSRはアーチファクトを低減し、よりシャープで意味的に正確な結果を生成し、知覚的品質と意味的忠実度において既存の拡散ベース手法を上回る。

ABSTRACT

Owe to the powerful generative priors, the pre-trained text-to-image (T2I) diffusion models have become increasingly popular in solving the real-world image super-resolution problem. However, as a consequence of the heavy quality degradation of input low-resolution (LR) images, the destruction of local structures can lead to ambiguous image semantics. As a result, the content of reproduced high-resolution image may have semantic errors, deteriorating the super-resolution performance. To address this issue, we present a semantics-aware approach to better preserve the semantic fidelity of generative real-world image super-resolution. First, we train a degradation-aware prompt extractor, which can generate accurate soft and hard semantic prompts even under strong degradation. The hard semantic prompts refer to the image tags, aiming to enhance the local perception ability of the T2I model, while the soft semantic prompts compensate for the hard ones to provide additional representation information. These semantic prompts encourage the T2I model to generate detailed and semantically accurate results. Furthermore, during the inference process, we integrate the LR images into the initial sampling noise to mitigate the diffusion model's tendency to generate excessive random details. The experiments show that our method can reproduce more realistic image details and hold better the semantics. The source code of our method can be found at https://github.com/cswry/SeeSR.

研究の動機と目的

• 重度の劣化と曖昧な局所構造によって引き起こされる現実世界の画像超解像における意味的不正確さを是正すること。
• 事前学習済みのテキストから画像への拡散モデルからの意味的事前知識を活用して、生成された高解像度画像の忠実度と現実性を向上させること。
• 単に低解像度画像や一般的な意味的プロンプトに依存する既存手法の限界を克服し、強い劣化下でも効果を発揮すること。
• 複雑な現実世界の画像劣化に強く、意味的コンテンツを保持することができるプロンプト抽出メカニズムを開発すること。

提案手法

• 劣化に敏感なプロンプト抽出器（DAPE）を微調整し、低解像度画像からハードな意味的プロンプト（画像タグ）とソフトな意味的プロンプト（表現埋め込み）を生成する。
• ハードプロンプトはオブジェクトレベルの意味的ガイダンスを提供することで局所的認識を向上させ、ソフトプロンプトは特徴理解を向上させる補完的表現情報を供給する。
• 低解像度特徴を拡散サンプリングプロセスの初期ノイズに統合することで、滑らかな領域におけるアーチファクト発生を低減する。
• 二段階のフレームワークを採用：第一段階では、データオーグメンテーションを用いて劣化に不変な意味を学習するための劣化済みデータでDAPEを訓練する。第二段階では、推論時に両方のプロンプトタイプを用いる。
• LR画像と意味的プロンプトを組み合わせた制御信号メカニズムを採用し、T2I拡散モデルが知覚的に現実的で意味的に正しい出力を得られるようにガイドする。
• 訓練と推論の分布を一致させるために、拡散プロセスの開始時点で低解像度潜在表現を埋め込む新しいLRE（LR-埋め込み）戦略を導入する。

Figure 1 : The comparison of different styles of prompts and their corresponding Real-ISR results with PASD [ 59 ] . (a) Input LR image. (b)-(d) show the extracted classification-style, caption-style and tag-style prompts from LR image and the corresponding Real-ISR results. (e) Null prompt and its

実験結果

リサーチクエスチョン

• RQ1 重度に劣化した低解像度画像から意味的プロンプトを効果的に抽出する方法は何か？ これにより、超解像における画像意味の保持が可能になるか？
• RQ2 ハードプロンプト（タグ）とソフトプロンプト（埋め込み特徴）は、生成された高解像度画像の意味的正確性と視覚的品質を向上させるために果たす役割は何か？
• RQ3 現実世界の超解像において、一般または市販の意味的抽出手法と比較して、劣化に敏感なプロンプト抽出はどのように優れているか？
• RQ4 拡散プロセスの初期ノイズに低解像度潜在表現を注入することで、アーチファクトの発生を低減し、再構成忠実度を向上させられるか？
• RQ5 ソフトプロンプトとハードプロンプトの相対的な寄与度は、高い知覚的品質と意味的正確性を達成するために果たす役割は何か？

主な発見

• SeeSRは、StableSR、PASD、DiffBIRといった既存の拡散ベース手法を知覚的品質において上回り、LPIPSとCLIPIQAスコアが低いため、視覚的リアリズムが高く歪みが少ない。
• アブレーションスタディの結果、ハードプロンプトのみを用いると意味的誤り（例：誤ったオブジェクトラベル）が生じる一方、ソフトプロンプトのみを用いるとぼやけたまたは意味的に損なわれた出力が得られる。
• DAPEによるハードプロンプトとソフトプロンプトの組み合わせが最良のバランスを実現し、ケーススタディで視覚的にも鋭いエッジと意味的に忠実な詳細を生成している。
• DAPEをRAMに置き換えると、すべての知覚的指標が低下し、意味的不整合が生じるため、劣化に敏感なプロンプト設計の必要性が裏付けられる。
• LRE戦略は、訓練と推論の分布を一致させることで、滑らかな領域におけるアーチファクトを効果的に低減する。
• SeeSRは、1枚のV100 GPUで7.24秒の推論時間という高速性を実現しながら、拡散ベース手法の中でも最先端の性能を達成し、速度と品質のバランスを最適化している。

Figure 2 : Overview of SeeSR. (a) In the first stage, we train a degradation-aware prompt extractor (DAPE), which is initialized from a tag model. DAPE is trained to align the encoding of the degraded LR image to the encoding of the corresponding HR image by a tag model ( e.g . , RAM [ 71 ] in our w