[論文レビュー] TextIR: A Simple Framework for Text-based Editable Image Restoration

Yunpeng Bai, Cairong Wang+4 more|arXiv (Cornell University)|Feb 28, 2023

Advanced Image Processing Techniques被引用数 7

ひとこと要約

TextIR は、CLIP のクロスモodal 特徴の整合性を活用して、テキスト記述と劣化画像特徴を統合することで、制御可能で柔軟な画像修復を実現するシンプルなテキスト誘導型画像修復フレームワークを提案する。微調整されたテキスト-画像ペアを必要とせず、画像補完、超解像、色再現の分野で最先端の結果を達成し、複数の修復タスクにわたるユーザー主導の編集を可能にする。

ABSTRACT

Most existing image restoration methods use neural networks to learn strong image-level priors from huge data to estimate the lost information. However, these works still struggle in cases when images have severe information deficits. Introducing external priors or using reference images to provide information also have limitations in the application domain. In contrast, text input is more readily available and provides information with higher flexibility. In this work, we design an effective framework that allows the user to control the restoration process of degraded images with text descriptions. We use the text-image feature compatibility of the CLIP to alleviate the difficulty of fusing text and image features. Our framework can be used for various image restoration tasks, including image inpainting, image super-resolution, and image colorization. Extensive experiments demonstrate the effectiveness of our method.

研究の動機と目的

• 従来の画像修復手法が重度の画像劣化に対処できず、強力な画像事前知識が効かない状況における限界を解消すること。
• 参照画像やドメイン固有の事前知識に依存せず、外部のテキスト記述をガイドとして導入することで、画像修復の制御性と柔軟性を向上させること。
• 1 つのテキスト条件付きアーキテクチャで、画像補完、超解像、色再現などの多様な修復タスクに適用可能な統合フレームワークを実現すること。
• ペaired テキスト-画像データに対する追加微調整を必要とせず、CLIP の事前学習済みマルチモodal 嵪合空間を活用して、テキストと画像特徴の有効な統合を検討すること。

提案手法

• TextIR は、劣化画像とユーザーが提供するテキスト記述から、それぞれ CLIP の固定済み画像およびテキストエンコーダーを用いて特徴を抽出する。
• CLIP の共有埋め込み空間を活用して、テキストと画像特徴の整合性を確保し、特徴統合時に意味的整合性を実現する。
• 学習可能なアダプタモジュールを介して、劣化画像特徴とテキスト条件付き特徴を統合し、画像の同一性を保持しながら修復を誘導する。
• 追加のテキスト-画像ペアアノテーションを必要とせず、事前学習済みの CLIP エンコーダーに依存して、エンドツーエンドで学習される。
• 学習可能なスケーリング要因 's' が、劣化画像とテキスト事前知識の影響を制御し、劣化の深刻さに応じて適応する。
• 正解画像の CLIP 埋め込みとターゲットテキストの埋め込みの間の補間により、微細な連続的編集が可能になる。

実験結果

リサーチクエスチョン

• RQ1 従来の事前知識が効かない重度の劣化状況において、テキスト記述が画像修復を効果的に誘導できるか。
• RQ2 ペアドテキスト-画像データを必要とせず、テキストと画像特徴を有効に統合して制御可能な画像修復を実現する方法は何か。
• RQ3 CLIP を基盤とする単一の統合フレームワークが、画像補完、超解像、色再現といった複数の画像修復タスクをサポートできるか。
• RQ4 参照画像ベースや事前知識ベースの手法と比較して、テキスト誘導が修復品質と制御性をどの程度向上させるか。

主な発見

• 画像補完において、TextIR は PSNR 29.83 を達成し、Blended-Diffusion (23.16) を大きく上回り、SSIM (0.932 対 0.901) は高く、LPIPS (0.068 対 0.226) は低く抑えられている。
• 画像色再現において、TextIR はすべての指標で L-CoDe を上回った：PSNR (26.70 対 24.965)、SSIM (0.923 対 0.916)、LPIPS (0.124 対 0.169)。
• 超解像において、TextIR は Multi-Modal-CelebA-HQ データセットで PSNR 27.41、SSIM 0.784 を達成し、GPEN (26.82 と 0.704) を上回った。
• アブレーションスタディにより、スケーリング要因 's' が劣化画像とテキスト事前知識の影響を効果的に制御しており、重度の劣化ではテキストの影響がより強くなることが確認された。
• CLIP 埋め込みの補間により、滑らかで連続的な画像編集が可能であり、修復強度の微細な制御が実現された。
• TextIR は、劣化後に修復することで、StyleCLIP よりも優れた同一性保持を実現し、効果的なテキストベースの画像編集を可能にした。