[論文レビュー] SAM-DiffSR: Structure-Modulated Diffusion Model for Image Super-Resolution

Chengcheng Wang, Zhiwei Hao+5 more|arXiv (Cornell University)|Feb 27, 2024

Photoacoustic and Ultrasonic Imaging被引用数 4

ひとこと要約

本稿では、画像超解像のための構造調整型拡散モデルであるSAM-DiffSRを提案する。この手法は、Segment Anything Model (SAM) から得られる細粒度のセグメンテーションマスクを用いて、前方拡散プロセス中のノイズ調節をガイドする。SAMマスクに構造的位置情報を符号化し、各領域ごとに独立してノイズ平均を調整することで、追加の推論コストを伴わずにテクスチャおよび構造の忠実度を向上させ、DIV2Kデータセット上で従来の拡散ベース手法と比較して0.74 dBのPSNR向上を達成した。

ABSTRACT

Diffusion-based super-resolution (SR) models have recently garnered significant attention due to their potent restoration capabilities. But conventional diffusion models perform noise sampling from a single distribution, constraining their ability to handle real-world scenes and complex textures across semantic regions. With the success of segment anything model (SAM), generating sufficiently fine-grained region masks can enhance the detail recovery of diffusion-based SR model. However, directly integrating SAM into SR models will result in much higher computational cost. In this paper, we propose the SAM-DiffSR model, which can utilize the fine-grained structure information from SAM in the process of sampling noise to improve the image quality without additional computational cost during inference. In the process of training, we encode structural position information into the segmentation mask from SAM. Then the encoded mask is integrated into the forward diffusion process by modulating it to the sampled noise. This adjustment allows us to independently adapt the noise mean within each corresponding segmentation area. The diffusion model is trained to estimate this modulated noise. Crucially, our proposed framework does NOT change the reverse diffusion process and does NOT require SAM at inference. Experimental results demonstrate the effectiveness of our proposed method, showcasing superior performance in suppressing artifacts, and surpassing existing diffusion-based methods by 0.74 dB at the maximum in terms of PSNR on DIV2K dataset. The code and dataset are available at https://github.com/lose4578/SAM-DiffSR.

研究の動機と目的

• 均一なノイズサンプリングにより、セマンティック領域に跨る複雑なテクスチャや構造の処理が困難である従来の拡散モデルの限界を解消すること。
• 細粒度の構造情報（Segment Anything Model (SAM) からのもの）を拡散ベースの超解像に統合し、復元品質を向上させること。
• 推論時に追加計算コストを発生させない形で、SAMのセグメンテーション機能を活用する手法を開発すること。
• 前方拡散プロセス中に領域別にノイズを調節することで、局所的な構造およびテクスチャ回復を強化すること。
• トレーニング時に構造的知識を統合しつつ、従来の逆方向拡散プロセスとの互換性を維持すること。

提案手法

• 訓練データセット内の各HR画像に対して、事前にSegment Anything Model (SAM) を用いて高品質なセグメンテーションマスクを生成する。
• 2次元位置情報をRotary Position Embedding (RoPE) を用いてSAMマスクに埋め込む「構造的位置符号化（SPE）」モジュールを導入する。
• 前方拡散プロセスにおいて、SPEで符号化されたマスクを適用することで、セグメンテーション領域ごとに独立してノイズ平均を調節する。
• U-Netノイズ除去モデルを、調節済みノイズを予測するように学習させ、構造に配慮した詳細の復元を効果的に学習させる。
• 全トレーニングエポックにわたり、事前に生成したSAMマスクを再利用することで、追加のトレーニングコストを最小限に抑える。
• 最終モデルが推論時にSAMを必要とせず、推論効率を損なわないように保証する。

実験結果

リサーチクエスチョン

• RQ1 SAMから得られる細粒度の構造情報は、どのように拡散プロセスに効果的に統合され、画像超解像の性能向上に寄与するか？
• RQ2 セグメンテーションマスクの品質が、拡散ベースの超解像モデルの性能に及ぼす影響は何か？
• RQ3 前方拡散プロセス中に構造に配慮したノイズ調節を実施することで、推論コストを増加させることなく、テクスチャおよび構造の忠実度を向上させられるか？
• RQ4 位置符号化手法の選択が、構造的詳細の局在化能力に与える影響は何か？
• RQ5 提案手法は、PSNR、SSIM、アーチファクト抑制の観点から、既存の拡散ベースの超解像手法を上回る性能を示すか？

主な発見

• SAM-DiffSRは、DIV2Kデータセット上で既存の拡散ベース手法と比較して0.74 dBのPSNR向上を達成し、最先端の性能を示した。
• 定量的アーチファクトマップスコアと定性的な視覚的比較の両方で、アーチファクトが顕著に低減されたことが確認された。
• 元のSAMから得られる高品質なセグメンテーションマスクは優れた結果をもたらし、Urban100データセットでPSNRが25.33（低品質）から25.54（高品質）に向上した。
• RoPEを用いた構造的位置符号化は、コサインまたは線形符号化よりも優れた性能を示し、Urban100で0.23 dBのPSNR向上を達成した。
• 定量的評価では、すべてのデータセットでSSIMおよびFIDが一貫して向上しており、より優れた知覚的品質と多様性が裏付けられた。
• 本手法は、逆方向拡散プロセスを変更せず、推論時にSAMを必要としないため、追加の推論コストを発生させずにこれらの向上を達成した。