[論文レビュー] A Dive into SAM Prior in Image Restoration

Zeyu Xiao, Jiawang Bai+2 more|arXiv (Cornell University)|May 23, 2023

Advanced Image Processing Techniques被引用数 6

ひとこと要約

本論文は、Segment Anything Model (SAM) からの意味的事前知識を活用することで、画像復元性能を向上させるパラメータ効率の良い手法を提案する。既存のネットワークに軽量な SAM プライオリティチューニング (SPT) ユニットを統合することで、主モデルの微調整を伴わず、画像超解像およびノイズ除去の品質を向上させ、最小限の追加パラメータで最先端の結果を達成する。

ABSTRACT

The goal of image restoration (IR), a fundamental issue in computer vision, is to restore a high-quality (HQ) image from its degraded low-quality (LQ) observation. Multiple HQ solutions may correspond to an LQ input in this poorly posed problem, creating an ambiguous solution space. This motivates the investigation and incorporation of prior knowledge in order to effectively constrain the solution space and enhance the quality of the restored images. In spite of the pervasive use of hand-crafted and learned priors in IR, limited attention has been paid to the incorporation of knowledge from large-scale foundation models. In this paper, we for the first time leverage the prior knowledge of the state-of-the-art segment anything model (SAM) to boost the performance of existing IR networks in an parameter-efficient tuning manner. In particular, the choice of SAM is based on its robustness to image degradations, such that HQ semantic masks can be extracted from it. In order to leverage semantic priors and enhance restoration quality, we propose a lightweight SAM prior tuning (SPT) unit. This plug-and-play component allows us to effectively integrate semantic priors into existing IR networks, resulting in significant improvements in restoration quality. As the only trainable module in our method, the SPT unit has the potential to improve both efficiency and scalability. We demonstrate the effectiveness of the proposed method in enhancing a variety of methods across multiple tasks, such as image super-resolution and color image denoising.

研究の動機と目的

• 画像復元の不適切な定式化を是正するために、高レベルの意味的事前知識を組み込み、解の空間を制約する。
• 大規模な基盤モデル、特にSAMが画像復元のための強固で転送可能な事前知識の源としての可能性を調査する。
• バックボーンを再トレーニングせずに、既存のIRネットワークに意味的事前知識を統合できる、プラグアンドプレイかつパラメータ効率の良いチューニング機構を開発する。
• 既存のIRネットワークの低レベル特徴とSAMからの意味的マスクを統合することで、超解像やノイズ除去などのタスクにおける復元品質を向上させる。

提案手法

• 劣化した低品質 (LQ) 画像から、事前に学習済みで固定されたSegment Anything Model (SAM) を用いて意味的マスクを抽出する。これにより、劣化に強く頑健な性能を発揮する。
• 既存のIRネットワークの中間特徴に意味的事前知識を注入するための、軽量で学習可能なSAM プライオリティチューニング (SPT) ユニットを設計する。
• ハイパーパramータ α を用いた学習可能なゲーミングメカニズムを導入し、意味的事前知識と特徴マップの融合を制御することで、適応的統合を可能にする。
• 主IRネットワークを固定したまま、SPTユニットのパラメータのみを更新するパラメータ効率の良いチューニング方式を適用し、効率性とスケーラビリティを確保する。
• 異なる密度の定期的グリッド（8×8、16×16、24×24）をSAMにプロンプトとして入力し、粗い、中程度、細かいマスクを生成する。これに応じて入力チャネルの次元を調整する。
• SPTユニットを、約8,000回のトレーニングイテレーションで最適化し、大幅に少ないパラメータ数とステップ数で、フル微調整と同等の性能を達成する。

実験結果

リサーチクエスチョン

• RQ1 SAMのような基盤モデルから抽出した意味的事前知識が、画像復元性能を実際に効果的に向上させることができるか？
• RQ2 既存の画像復元ネットワークにおける低レベル特徴と、SAMからの意味的事前知識を効率的かつ効果的に統合する方法は何か？
• RQ3 SAMを事前知識として用いる場合、マスクの粒度（粗いから細かいまで）が復元品質に与える影響は何か？
• RQ4 提案されたパラメータ効率の良いチューニング方式は、フル微調整と比較して性能およびトレーニング効率の面でどう異なるか？
• RQ5 SAMマスクを事前知識として使用する際の失敗モードは何か？また、それらは画像の忠実度にどのように影響を与えるか？

主な発見

• 提案されたSPTユニットは、Set5データセットにおける画像超解像タスクでPSNR 32.5648を達成し、ベースラインのARTネットワーク比で+0.2568の向上を示した。
• 細粒度のSAMマスク（24×24グリッド）を用いることで最高の性能（PSNR = 32.5737）が得られ、より高解像度の意味的事前知識が復元品質の向上に寄与することが確認された。
• 最適なハイパーパramータ α = 1.0 が最良の性能をもたらし、αが小さすぎたり大きすぎたりすると性能が劣化するため、融合のバランスが重要であることが示された。
• 提案されたチューニング方式は、フル微調整と同等の性能を達成したが、トレーニングステップ数は約8,000回、使用パラメータ数もはるかに少なかった。
• 一部のケースではアーティファクトが発生し、例えばサンゴの帆の部分にグリッド状の構造が現れるなど、視覚的妥当性と真値忠実度のトレードオフが生じることがわかった。
• SPTユニットは、画像超解像やカラー画像ノイズ除去を含む複数のIRタスクで有効であり、広範な適用可能性を示した。