[論文レビュー] Prompt-In-Prompt Learning for Universal Image Restoration

Zilong Li, Yiming Lei+3 more|arXiv (Cornell University)|Dec 8, 2023

Image Enhancement Techniques被引用数 6

ひとこと要約

本稿では、普遍的画像修復のためのプロンプト・イン・プロンプト（PIP）学習を提案する。二重プロンプトフレームワークを導入し、高レベルの劣化認識プロンプト（高レベル）と基本的修復プロンプト（低レベル）をプロンプト同士の相互作用モジュールで統合する。選択的プロンプト・トゥ・フィーチャー相互作用により、特徴のモodulationが向上し、軽量でプラグアンドプレイなモジュールを実現。ノイズ除去、雨除去、霞取り、ぼかし除去、低照度強化の各タスクで性能が向上し、より高いロバストネス、解釈可能性、効率性を実現する。

ABSTRACT

Image restoration, which aims to retrieve and enhance degraded images, is fundamental across a wide range of applications. While conventional deep learning approaches have notably improved the image quality across various tasks, they still suffer from (i) the high storage cost needed for various task-specific models and (ii) the lack of interactivity and flexibility, hindering their wider application. Drawing inspiration from the pronounced success of prompts in both linguistic and visual domains, we propose novel Prompt-In-Prompt learning for universal image restoration, named PIP. First, we present two novel prompts, a degradation-aware prompt to encode high-level degradation knowledge and a basic restoration prompt to provide essential low-level information. Second, we devise a novel prompt-to-prompt interaction module to fuse these two prompts into a universal restoration prompt. Third, we introduce a selective prompt-to-feature interaction module to modulate the degradation-related feature. By doing so, the resultant PIP works as a plug-and-play module to enhance existing restoration models for universal image restoration. Extensive experimental results demonstrate the superior performance of PIP on multiple restoration tasks, including image denoising, deraining, dehazing, deblurring, and low-light enhancement. Remarkably, PIP is interpretable, flexible, efficient, and easy-to-use, showing promising potential for real-world applications. The code is available at https://github.com/longzilicart/pip_universal.

研究の動機と目的

• 画像修復のためのタスク特化型ディープラーニングモデルにおける高いストレージコストと柔軟性の欠如を解消すること。
• 再トレーニングなしに、ノイズ、雨、はっきりしない空気、ぼかし、低照度など、複数の劣化タイプをカバーする単一のモデルが汎用的に機能することを可能にすること。
• 高レベルの劣化概念と低レベルの修復特徴を明示的にモデル化することで、モデルの解釈可能性と制御性を向上させること。
• 既存の修復アーキテクチャに構造的変更を加えずに、性能を向上させる軽量でプラグアンドプレイなモジュールを開発すること。
• 学習済みプロンプトを用いて、タスク特化型の修復性能を向上させるために、効果的かつ選択的な特徴のモodulationを実現すること。

提案手法

• 高レベルの劣化概念（例：「ノイズ」、「雨」）をエンコードする劣化認識プロンプトと、低レベルのテクスチャーや微細構造を捉える基本的修復プロンプトの2つの新規プロンプトを導入する。
• 劣化認識プロンプトと基本的修復プロンプトを統合し、汎用的修復プロンプトを生成するプロンプト同士の相互作用（P2P）モジュールを設計する。
• 汎用プロンプトに基づいて、劣化関連の特徴を動的にモodulateする選択的プロンプト・トゥ・フィーチャー相互作用モジュールを実装し、タスク特化型の特徴整合性を向上させる。
• 劣化認識プロンプト間の意味的分離を強制するために、しきい値角度 $\theta_{\text{thre}}$ を用いた対照的学習損失 ($\mathcal{L}_{\text{ddl}}$) を用いる。これにより、プロンプトの混合を防ぐ。
• プロンプトの分離性と再構成忠実度のバランスを取るために、エンド・トゥ・エンドでトレーニングするための統合損失 $\mathcal{L} = \alpha \mathcal{L}_{\text{ddl}} + (1-\alpha) \mathcal{L}_{\text{recon}}$ を使用する。
• Restormerなどの既存の修復モデルの上にPIPをプラグアンドプレイモジュールとして展開し、バックボーンの再トレーニングを一切不要としない。

実験結果

リサーチクエスチョン

• RQ1 タスク特化型のファインチューニングなしに、統一されたプロンプトフレームワークが多様な画像修復タスクに効果的に一般化できるか？
• RQ2 高レベルの劣化概念と低レベルの修復特徴をどのように統合的にモデル化することで、修復性能を向上させられるか？
• RQ3 プロンプトの分離性が、劣化タイプにわたるモデルの汎用性とロバストネスをどの程度向上させるか？
• RQ4 選択的プロンプト・トゥ・フィーチャー相互作用機構が、特徴のモodulationと修復品質を向上させるか？
• RQ5 PIPのプラグアンドプレイ設計は、効率性、解釈可能性、および既存モデルとの互換性にどのように影響を与えるか？

主な発見

• PIPはノイズ除去、雨除去、霞取り、ぼかし除去、低照度強化の5つの画像修復タスクで最先端の性能を達成し、ベースラインモデルに対して一貫した向上を示した。
• アブレーションスタディにより、選択的プロンプト・トゥ・フィーチャー相互作用モジュールが劣化関連特徴に焦点を当てることで性能向上を実現しており、特にプロンプト・イン・プロンプト学習と組み合わせた場合に顕著であった。
• $\mathcal{L}_{\text{ddl}}$ におけるしきい値角度 $\theta_{\text{thre}} = 90^\circ$ に設定した場合が最良の性能を示し、$\theta_{\text{thre}} = 0^\circ$ と比較して0.3 dBの向上を達成した。これは、分離されたプロンプトが修復性能を向上させることを示唆している。
• t-SNE可視化では、汎用修復プロンプトが劣化タイプごとに明確にクラスタリングされていることが確認され、モデルの解釈可能性と異なる劣化概念の学習能力を裏付けた。
• 事前学習済みCLIPテキストエンコーダーを用いて劣化認識プロンプトを初期化すると、制約のない設定に比べて性能が向上するが、提案された $\theta_{\text{thre}} = 90^\circ$ の設定には及ばない。
• プラグアンドプレイ設計により、Restormerなどの既存モデルを最小限のオーバーヘッドで強化可能であり、高い効率性と広範な適用可能性を示した。