[論文レビュー] DiffusionSeg: Adapting Diffusion Towards Unsupervised Object Discovery

Chaofan Ma, Yuhuan Yang+6 more|arXiv (Cornell University)|Mar 17, 2023

Visual Attention and Saliency Detection被引用数 6

ひとこと要約

DiffusionSegは、事前学習済みの拡散モデルを無教師オブジェクト発見に適応させるための新規な合成・活用フレームワークを提案する。訓練不要のAttentionCutを用いて合成画像・マスクペアを生成し、拡散逆問題を用いて特徴を抽出することで、6つのベンチマークで最先端の性能を達成した。これは、ピクセル単位のタスクにおける拡散ベースの事前学習の優位性を示している。

ABSTRACT

Learning from a large corpus of data, pre-trained models have achieved impressive progress nowadays. As popular generative pre-training, diffusion models capture both low-level visual knowledge and high-level semantic relations. In this paper, we propose to exploit such knowledgeable diffusion models for mainstream discriminative tasks, i.e., unsupervised object discovery: saliency segmentation and object localization. However, the challenges exist as there is one structural difference between generative and discriminative models, which limits the direct use. Besides, the lack of explicitly labeled data significantly limits performance in unsupervised settings. To tackle these issues, we introduce DiffusionSeg, one novel synthesis-exploitation framework containing two-stage strategies. To alleviate data insufficiency, we synthesize abundant images, and propose a novel training-free AttentionCut to obtain masks in the first synthesis stage. In the second exploitation stage, to bridge the structural gap, we use the inversion technique, to map the given image back to diffusion features. These features can be directly used by downstream architectures. Extensive experiments and ablation studies demonstrate the superiority of adapting diffusion for unsupervised object discovery.

研究の動機と目的

• 生成タスクに主に使われる事前学習済みの拡散モデルが、無教師の画素レベルタスク（例：無教師オブジェクト発見）においても有効に活用できるかを検討すること。
• 生成的拡散モデルと判別的下流タスク（例：サリエンシー分類、オブジェクト検出）との間の構造的不一致を解消すること。
• 無教師設定におけるラベル付きデータの不足に直面する課題を、高品質な画像・マスクペアの合成によって克服すること。
• 逆問題による拡散特徴の直接利用を可能にすることで、生成的・判別的アーキテクチャのギャップを埋めること。
• 密度予測タスクにおいて、判別的事前学習（例：CLIP、DINO）を上回る性能を示す、拡散ベースの事前学習の優位性を実証すること。

提案手法

• 2段階のフレームワーク（合成：データ生成、活用：特徴利用）を提案する。
• 訓練不要のAttentionCutを導入し、画像合成中に得られるクロス注意マップと自己注意マップを活用してマスクを生成する。
• ランダムノイズとカテゴリラベルを用いたテキストから画像への拡散モデルを活用し、正確なマスクを伴うリアルな画像を合成する。
• 実画像を潜在的拡散特徴空間に逆方向にマッピングする拡散逆問題を用い、決定的な特徴抽出を可能にする。
• 逆問題による拡散特徴を、軽量なデコーダーを介して下流のセグメンテーションタスクに統合可能な普遍的表現として利用する。
• 合成データ上で1つのセグメンテーションデコーダーを学習させ、異なるタスクにわたる拡散事前学習の統合的利用を実現する。

実験結果

リサーチクエスチョン

• RQ1 生成タスクで優れた性能を示す事前学習済みの拡散モデルが、無教師の判別的タスク（例：オブジェクト発見）に対しても効果的に適応可能か？
• RQ2 生成的拡散モデルと判別的オブジェクト発見モデルとの間の構造的・分布的差異をどのように埋め合わせられるか？
• RQ3 注意に基づくマスクを用いた合成データが、リソースが限られた無教師設定での性能向上にどの程度寄与するか？
• RQ4 特に逆問題によって抽出された特徴に内蔵された暗黙の知識が、明示的に事前学習された判別的特徴（例：CLIP、DINO）を上回る性能を示すか？
• RQ5 AttentionCutで使用するカテゴリ事前分布が欠落または破損した場合、本手法はどの程度頑健に機能するか？

主な発見

• DiffusionSegは、ECSSD、DUTS、DUT-OMRON（セグメンテーション）、VOC07、VOC12、COCO20K（検出）の6つの標準ベンチマークで最先端の性能を達成した。
• ECSSDでは、92.4%の精度と71.0%のIoUを達成し、CLIP（92.0%精度、72.8% IoU）とDINO（86.9%精度、70.1% IoU）を上回った。
• 合成データを5万サンプルにスケーリングした場合、ECSSDで95.2%の精度と79.0%のIoUを達成し、ベースラインモデルを著しく上回った。
• アブレーションスタディの結果、AttentionCutにおける意味的整合性と空間的整合性の両方を組み合わせた場合が最良の性能（ECSSDで92.4%精度、71.0% IoU）を示し、K-means や DenseCRF などの手法を上回った。
• 逆問題によって抽出された拡散特徴は、判別的特徴を上回る性能を示した：DUTS-TEでは、93.3%の精度と63.7%のIoUを達成し、CLIP（92.4%精度、56.3% IoU）を上回った。
• CLIP分類可能な事前分布が存在しない場合でも、本手法は頑健に機能し、DUT-OMRONでは92.9%の精度と62.8%のIoUを達成した。これは、ラベル依存性を超えた強力な一般化能力を示している。