[論文レビュー] Unifying Image Processing as Visual Prompting Question Answering

Yihao Liu, Xiangyu Chen+5 more|arXiv (Cornell University)|Oct 16, 2023

Multimodal Machine Learning Applications被引用数 5

ひとこと要約

本稿では、画像修復、強調、エッジ検出などの多様な低レベル画像処理タスクを、構造化されたプロンプトベースのQA問題として扱う統合的視覚的プロンプト質疑応答フレームワーク「PromptGIP」を提案する。視覚的プロンプトを用いたコンテキスト内学習により、タスク固有の微調整を必要とせず、クロスドメインのタスクにおいてゼロショット一般化を達成し、未学習のタスクにおいても優れた性能と頑健性を示している。

ABSTRACT

Image processing is a fundamental task in computer vision, which aims at enhancing image quality and extracting essential features for subsequent vision applications. Traditionally, task-specific models are developed for individual tasks and designing such models requires distinct expertise. Building upon the success of large language models (LLMs) in natural language processing (NLP), there is a similar trend in computer vision, which focuses on developing large-scale models through pretraining and in-context learning. This paradigm shift reduces the reliance on task-specific models, yielding a powerful unified model to deal with various tasks. However, these advances have predominantly concentrated on high-level vision tasks, with less attention paid to low-level vision tasks. To address this issue, we propose a universal model for general image processing that covers image restoration, image enhancement, image feature extraction tasks, etc. Our proposed framework, named PromptGIP, unifies these diverse image processing tasks within a universal framework. Inspired by NLP question answering (QA) techniques, we employ a visual prompting question answering paradigm. Specifically, we treat the input-output image pair as a structured question-answer sentence, thereby reprogramming the image processing task as a prompting QA problem. PromptGIP can undertake diverse cross-domain tasks using provided visual prompts, eliminating the need for task-specific finetuning. Our methodology offers a universal and adaptive solution to general image processing. While PromptGIP has demonstrated a certain degree of out-of-domain task generalization capability, further research is expected to fully explore its more powerful emergent generalization.

研究の動機と目的

• 専門家がカスタマイズした設計を要するタスク固有のモデルに依存する低レベルビジョンタスクに対する統合的で汎用的なモデルの不足に取り組むこと。
• 既存の大規模ビジョンモデルが主に高レベルタスクに焦点を当てており、低レベルビジョンが十分に検討されていないという限界を克服すること。
• 同一アーキテクチャで異なる出力ドメインを持つ多様な画像処理タスクを処理できる汎用フレームワークを開発すること。
• 視覚的プロンプトを用いたコンテキスト内学習により、タスク固有の微調整に依存せずに、ドメイン外タスクへのゼロショット一般化を可能にすること。
• 視覚的プロンプトが、学習データのパターンやコンテンツ固有のバイアスに過剰適合することなく、モデルの挙動を効果的に誘導できることを示すこと。

提案手法

• 入出力画像ペアを構造化された質問-回答ペアとして扱うことで、画像処理タスクを視覚的プロンプト質疑応答に再定式化する。
• ペアド視覚的プロンプト（例：綺麗な画像を「質問」とし、劣化した画像を「回答」とする）を用いてタスクを定義し、コンテキスト内学習を可能にする。
• タスク固有のヘッドや適応を一切使用せず、多様な画像処理タスクのセットを統一的な目的関数で学習する汎用ビジョンモデルを訓練する。
• モデルの微調整に依存せず、視覚的プロンプトに基づいて正しい処理操作を推論するコンテキスト内学習を活用する。
• 曖昧性を最小限に抑えるために、テクスチャや色の豊かさに富んだプロンプトを設計し、タスク理解とモデルの一般化能力を向上させる。
• 適切な視覚的プロンプトを提供することで、未学習のタスク（例：スタイル変換）にモデルを適用し、発生的一般化能力を実証する。

実験結果

リサーチクエスチョン

• RQ1 タスク固有の微調整を必要とせず、修復、強調、エッジ検出などの多様な低レベル画像処理タスクを1つの統合ビジョンモデルが処理できるか。
• RQ2 質疑応答フレームワークにおける視覚的プロンプトが、クロスドメインの画像処理タスクにおいてどの程度ゼロショット一般化を可能にするか。
• RQ3 プロンプトの質（例：テクスチャ、色の豊かさ）が、モデルが意図された画像処理操作を正しく解釈・実行できる能力にどのように影響するか。
• RQ4 曖昧なプロンプトが与えられた場合、モデルはコンテンツ固有のヒント（例：屋内シーンと深度推定の関連付け）に過剰適合するのを避けることができるか。
• RQ5 視覚的プロンプトQAフレームワークは、学習時に見られなかったドメイン外タスクへの発生的一般化を可能にするか。

主な発見

• PromptGIPは、Restormer や ViT-large といった専用モデルと同等またはそれ以上の視覚的品質を達成し、画像修復および強調タスクで競争力のある性能を示している。
• 適切な視覚的プロンプトが提供された場合、スタイル変換などのドメイン外タスクに対しても効果的に一般化でき、ゼロショット能力の発生的兆候を示している。
• ノイズの多い画像に対してノイズ除去プロンプトが与えられた場合、PromptGIPは処理を実行せず、内容の記憶ではなくタスクの意図を理解していることを示している。
• Cannyエッジ検出の視覚的プロンプトが与えられた場合、ノイズの多い画像に対して正しくCanny演算子を適用しており、タスク固有の処理実行が確認された。
• プロンプトの質が性能に顕著に影響する：テクスチャや色が豊かなプロンプトは優れた結果をもたらし、視覚的プロンプトパラダイムにおけるプロンプト工学の重要性を強調している。
• プロンプトがタスクを明確に定義している場合、モデルはコンテンツベースの誤分類（例：ノイズの多い屋内画像に対して深度推定を実行する）を回避し、コンテンツに起因する混乱に対して頑健であることが示された。