[論文レビュー] Towards Effective Multiple-in-One Image Restoration: A Sequential and Prompt Learning Strategy

Xiangtao Kong, Chao Dong+1 more|arXiv (Cornell University)|Jan 7, 2024

Photoacoustic and Ultrasonic Imaging被引用数 4

ひとこと要約

本論文は、複数の画像修復タスクを統合的に処理できる1つのモデルを実現するための逐次的でプロンプト学習に基づく戦略を提案する。この戦略により、CNNおよびTransformerベースのバックボーンにおいて、7つの多様な画像修復タスクを効果的かつ一括で処理できるモデルが実現され、分布外のデータセットにおいて最大+2.09 dBのPSNR向上を達成した。

ABSTRACT

While single task image restoration (IR) has achieved significant successes, it remains a challenging issue to train a single model which can tackle multiple IR tasks. In this work, we investigate in-depth the multiple-in-one (MiO) IR problem, which comprises seven popular IR tasks. We point out that MiO IR faces two pivotal challenges: the optimization of diverse objectives and the adaptation to multiple tasks. To tackle these challenges, we present two simple yet effective strategies. The first strategy, referred to as sequential learning, attempts to address how to optimize the diverse objectives, which guides the network to incrementally learn individual IR tasks in a sequential manner rather than mixing them together. The second strategy, i.e., prompt learning, attempts to address how to adapt to the different IR tasks, which assists the network to understand the specific task and improves the generalization ability. By evaluating on 19 test sets, we demonstrate that the sequential and prompt learning strategies can significantly enhance the MiO performance of commonly used CNN and Transformer backbones. Our experiments also reveal that the two strategies can supplement each other to learn better degradation representations and enhance the model robustness. It is expected that our proposed MiO IR formulation and strategies could facilitate the research on how to train IR models with higher generalization capabilities.

研究の動機と目的

• 複数の多様な画像修復タスクを同時に処理できる1つのモデルを訓練する課題に対処すること。
• さまざまな劣化タイプを混合して訓練する際の最適化の不安定性とタスク干渉を克服すること。
• 分布内および分布外のテストセットにおいて、モデルの一般化性能とロバストネスを向上させること。
• 綺麗でアーティファクトのない真値画像を用いた高品質な監視信号をサポートする統一フレームワークを開発すること。
• 安定した訓練と効果的なタスク固有の適応を実現する補完的戦略を調査すること。

提案手法

• 逐次学習を提案：複数の画像修復タスクを一度に混合して学習する代わりに、慎重に設計された順序で1つのタスクずつモデルを訓練する。
• プロンプト学習を導入してモデルを異なるタスクに適応：明示的なプロンプト（例：タスク埋め込み）または入力画像から抽出された適応的視覚プロンプトを用いる。
• 明示的プロンプト学習を適用：タスク固有の条件付け信号を学習可能な埋め込みを介してネットワークに組み込む。
• 適応的プロンプト学習を実装：入力画像自体からタスクに適応した特徴を動的に生成する。
• 逐次学習とプロンプト学習の戦略を組み合わせ、劣化表現の学習とモデルのロバストネスを向上させる。
• 低品質な監視信号を避けるために、キュレートされたデータセットから得られる高品質でアーティファクトのない真値画像を用いる。

実験結果

リサーチクエスチョン

• RQ1 複数の矛盾する画像修復目的を同時に最適化する際、どのようにして訓練の安定性を確保できるか？
• RQ2 性能の低下を伴わずに、多様な画像修復タスクにわたる一般化性能を向上させる訓練戦略は何か？
• RQ3 プロンプト学習は、微調整を伴わずに1つのモデルがさまざまな修復タスクに適応できるように効果的に導けるか？
• RQ4 逐次学習とプロンプト学習の戦略は、モデルの性能とロバストネスを向上させるためにどのように補い合うか？
• RQ5 これらの戦略で訓練された統一モデルは、分布内および分布外のテストセットにおいて、タスク固有のモデルをどれほど上回れるか？

主な発見

• 逐次学習は最適化の安定性を向上させ、SRResNetでは平均0.29 dB、SwinIRでは平均0.85 dBのPSNR向上を7つのタスクすべてで達成した。
• 逐次学習と明示的プロンプト学習の組み合わせにより、SwinIRは分布外テストセットで最大+2.09 dBのPSNR向上を達成した。
• 適応的プロンプト学習は一般化性能を向上させ、特に未知の劣化タイプに対して顕著な効果を示し、SRResNetではUnknownテストセットで+1.06 dBの向上を達成した。
• 高品質な真値データを用いた本研究のMiO IR定式化により、低品質な監視信号による性能低下が回避された。
• 逐次学習とプロンプト学習の戦略は劣化表現の学習を強化し、野生の（実世界の）困難なテストセットにおけるロバストネスを向上させた。
• 本手法は、SRResNet、SwinIR、Restormer、Uformerといった複数のバックボーンで最先端の性能を達成しており、広範な適用可能性を示した。