[論文レビュー] InstructIR: High-Quality Image Restoration Following Human Instructions

Marcos V. Conde, Gregor Geigle+1 more|arXiv (Cornell University)|Jan 29, 2024

Advanced Image Processing Techniques被引用数 4

ひとこと要約

InstructIRは、ノイズ除去、雨除去、ぼかし除去、はっきりさせ、低照度強化を含む、複数の劣化タイプにわたる高品質な画像修復を自然言語の指示でガイドする最初のテキストガイド付き画像修復モデルを紹介する。フローズンテキストエンコーダーとNAFNetベースの画像修復バックボーンを活用することで、InstructIRは最先端の性能を達成し、主要ベンチマークで先行するワンストップモデルと比較して+1dBの向上を実現した。

ABSTRACT

Image restoration is a fundamental problem that involves recovering a high-quality clean image from its degraded observation. All-In-One image restoration models can effectively restore images from various types and levels of degradation using degradation-specific information as prompts to guide the restoration model. In this work, we present the first approach that uses human-written instructions to guide the image restoration model. Given natural language prompts, our model can recover high-quality images from their degraded counterparts, considering multiple degradation types. Our method, InstructIR, achieves state-of-the-art results on several restoration tasks including image denoising, deraining, deblurring, dehazing, and (low-light) image enhancement. InstructIR improves +1dB over previous all-in-one restoration methods. Moreover, our dataset and results represent a novel benchmark for new research on text-guided image restoration and enhancement. Our code, datasets and models are available at: https://github.com/mv-lab/InstructIR

研究の動機と目的

• 自然言語のガイドによって、多様な劣化タイプにわたる画像修復の一般化を解決すること。
• 事前に定義された劣化埋め込みではなく、ユーザーが提供するテキスト指示に基づいて画像を修復できる単一のワンストップモデルを可能にすること。
• 実際の人間が書いたプロンプトを用いたテキストガイド付き画像修復および強化のための新しいベンチマークを確立すること。
• 自然言語による人間の意図を組み込むことで、現実世界のシナリオにおける一般化とパフォーマンスを向上させること。
• テキストベースの指示従いが、従来のプロンプト埋め込みや分類ベースのアプローチを上回ることを示すこと。

提案手法

• モデルは、人間が書いた指示を文脈的埋め込みに変換するためのフローズンテキストエンコーダー（BGE-micro-v2）を用いる。
• NAFNetベースの画像修復バックボーンは、劣化画像とテキスト埋め込みをクロスアテンション機構で処理し、指示に応じた修復を条件づける。
• モデルは、復元画像と正解画像間のL1再構成損失、およびプロンプトからの意図分類のための交差エントロピー損失を組み合わせた損失関数で訓練される。
• 一般化性能を維持し、計算コストを削減するために、トレーニング中にテキストエンコーダーをフローズンに保つ。
• 任意の自然言語プロンプトをサポートすることで、柔軟でユーザーの意図に基づいた画像修復を実現する。
• モデルは、ノイズ除去、雨除去、ぼかし除去、はっきりさせ、低照度強化のための標準ベンチマークで評価される。

実験結果

リサーチクエスチョン

• RQ1 自然言語の指示が、複数の劣化タイプにわたる画像修復モデルを効果的にガイドできるか？
• RQ2 学習されたプロンプト埋め込みや劣化分類と比較して、人間が書いた指示を用いることで修復性能が向上するか？
• RQ3 テキストによるガイドのみで、単一のワンストップモデルが多様で現実世界の劣化シナリオに一般化できるか？
• RQ4 テキストエンコーダーの選択が、テキストガイド付き画像修復のパフォーマンスにどのように影響するか？
• RQ5 未知の劣化タイプや指示に対しても一般化を維持しながら、最先端の結果を達成できるか？

主な発見

• InstructIRは5つの画像修復タスクで最先端のパフォーマンスを達成し、先行するワンストップモデルと比較して+1dBの向上を示した。
• モデルは現実世界の劣化シナリオにもうまく一般化しており、曖昧なまたは技術的でない指示に対しても高品質な結果を生成した。
• アブレーションスタディの結果、異なるテキストエンコーダー間で顕著なパフォーマンス差は認められず、BGE-micro-v2がサイズとパフォーマンスの最適なトレードオフを達成していた。
• 意図分類損失は迅速に収束しており、モデルが指示と正しい修復タスクを効果的に関連付けることを示している。
• 定性的な比較では、AirNet や PromptIR といったベースラインと比較して、すべてのタスクでInstructIRが視覚的品質と詳細回復の面で優れていた。
• モデルは強力なゼロショット一般化を示しており、微調整なしに多様で人間が書いたプロンプトに基づいて画像を修復した。