[論文レビュー] InstructDiffusion: A Generalist Modeling Interface for Vision Tasks

Zigang Geng, Binxin Yang+9 more|arXiv (Cornell University)|Sep 7, 2023

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

InstructDiffusionは、セグメンテーション、キーポイント検出、画像編集といった多様なビジョンタスクを、連続的な3チャネル画像空間における指示駆動型ピクセル操作として統合的に扱う、拡散ベースのフレームワークを提案する。自然言語の指示からピクセルレベルの出力を予測する1つのモデルを訓練することで、未学習のタスクに対して強力なゼロショット一般化を達成し、新しいデータセットにおいても先行手法を上回る性能を示しており、ビジョン分野における汎用モデルインターフェースへの重要な一歩を示している。

ABSTRACT

We present InstructDiffusion, a unifying and generic framework for aligning computer vision tasks with human instructions. Unlike existing approaches that integrate prior knowledge and pre-define the output space (e.g., categories and coordinates) for each vision task, we cast diverse vision tasks into a human-intuitive image-manipulating process whose output space is a flexible and interactive pixel space. Concretely, the model is built upon the diffusion process and is trained to predict pixels according to user instructions, such as encircling the man's left shoulder in red or applying a blue mask to the left car. InstructDiffusion could handle a variety of vision tasks, including understanding tasks (such as segmentation and keypoint detection) and generative tasks (such as editing and enhancement). It even exhibits the ability to handle unseen tasks and outperforms prior methods on novel datasets. This represents a significant step towards a generalist modeling interface for vision tasks, advancing artificial general intelligence in the field of computer vision.

研究の動機と目的

• 理解から生成に至る多様なコンピュータビジョンタスクを、1つの指示ベースのフレームワークに統合すること。
• タスク固有のアーキテクチャや離散的出力表現の制限を克服し、すべてのタスクを連続的でピクセルレベルの画像編集としてモデル化すること。
• 統一的で指示に整合したモデリングインターフェースを通じて、未学習のタスクへのゼロショット一般化を可能にすること。
• 共通の拡散ベースアーキテクチャを用いて複数のビジョンタスクを同時に学習させることで、モデルの一般化性能を向上させること。
• 人間が直感的に入力できる柔軟なインタラクションを可能にすることで、コンピュータビジョン分野における人工汎用知能への道筋を前進させること。

提案手法

• モデルは、3チャネルRGB画像を出力として予測するノイズ除去拡散プロセスを用い、マスクやキーポイントは統一的な表現で画像空間に埋め込まれる。
• タスクは、「左の車を青く塗る」や「男の人の左の肩に赤い円を配置する」といった自然言語の指示に再定式化される。
• 後処理モジュールは、3チャネル出力をバイナリマスクやキーポイント座標といった標準フォーマットにデコードして評価に用いる。
• モデルは、セグメンテーション、キーポイント検出、画像編集といった多様なビジョンタスクを、共通の指示入力・出力パラダイムで同時に学習する。
• 人間の整合性データを用いてファインチューニング段階で画像とテキストの整合性を向上させ、CLIP-Simで測定される。これにより、指示に従う忠実度が向上する。
• 拡散モデルの連続的性質を活用することで、離散的トークン化手法に内在する量子化誤差を回避する。

実験結果

リサーチクエスチョン

• RQ1 自然言語の指示のみを用いて、タスク固有のヘッド設計なしに、1つのビジョンモデルが多様なビジョンタスクを処理できるか。
• RQ2 複数のビジョンタスクにわたる共同学習が、未学習のタスクやデータセットへの一般化に与える影響は何か。
• RQ3 拡散ベースモデルが、トレーニング中に見られなかったタスク（例：検出や分類）に対して、どの程度ゼロショット能力を示せるか。
• RQ4 人間の整合性を考慮したファインチューニングは、指示に従う際のモデルの意図との整合性をどの程度向上させるか。
• RQ5 マスクとキーポイントを3チャネル画像として統一的に表現することで、タスク固有の正確性を維持しながら一般化を可能にできるか。

主な発見

• 共同学習されたInstructDiffusionモデルは、4つの未学習のテストデータセット（RefClef、ADE-847、PC-459、ADE-150）で、単一タスクモデルを上回り、優れたオープンセット一般化を示した。
• 共同学習は未学習のデータセットにおけるパフォーマンスを顕著に向上させ、アブレーションスタディにより、タスク固有モデルに比べて明確なゼロショット一般化の向上が確認された。
• モデルは、指示を参照セグメンテーションタスクとして解釈し、マークされた領域からバウンディングボックスと分類ラベルを抽出することで、ゼロショット検出および分類を実現した。
• 顔のアライメントは、「右の耳を囲む」といった直接的な指示により、高い正確性で達成され、微細なタスクへの高い適応性を示した。
• 人間の整合性ファインチューニングにより、1,000サンプルのデータセットで約10エポックの学習でCLIP-Simが29.6から29.9に向上し、画像とテキストの整合性が向上したことが確認された。
• 視覚的比較から、マルチタスク学習が、例えばライオンに帽子を正しく配置するといった編集の正確性を向上させ、参照セグメンテーションによるオブジェクト理解の向上に寄与していることが示された。