[論文レビュー] Dataset Diffusion: Diffusion-based Synthetic Dataset Generation for Pixel-Level Semantic Segmentation

Quang H. Nguyen, Truong V. Vu+2 more|arXiv (Cornell University)|Sep 25, 2023

Generative Adversarial Networks and Image Synthesis被引用数 6

ひとこと要約

本論文では、安定拡散（Stable Diffusion）のテキストから画像への生成機能とアテンションメカニズムを活用し、高品質でピクセル単位のセマンティックセグメンテーションデータセットを合成する、新しいフレームワークであるDataset Diffusionを提案する。クラスプロンプトの付加、クラスプロンプトクロスアテンション、自己アテンションの指数化を導入することで、テキストプロンプトから正確なセグメンテーションマスクを生成し、PASCAL VOCで64.8 mIoU、COCOで34.2 mIoUを達成した。これは、DiffuMaskなどの先行研究を上回る結果である。

ABSTRACT

Preparing training data for deep vision models is a labor-intensive task. To address this, generative models have emerged as an effective solution for generating synthetic data. While current generative models produce image-level category labels, we propose a novel method for generating pixel-level semantic segmentation labels using the text-to-image generative model Stable Diffusion (SD). By utilizing the text prompts, cross-attention, and self-attention of SD, we introduce three new techniques: class-prompt appending, class-prompt cross-attention, and self-attention exponentiation. These techniques enable us to generate segmentation maps corresponding to synthetic images. These maps serve as pseudo-labels for training semantic segmenters, eliminating the need for labor-intensive pixel-wise annotation. To account for the imperfections in our pseudo-labels, we incorporate uncertainty regions into the segmentation, allowing us to disregard loss from those regions. We conduct evaluations on two datasets, PASCAL VOC and MSCOCO, and our approach significantly outperforms concurrent work. Our benchmarks and code will be released at https://github.com/VinAIResearch/Dataset-Diffusion

研究の動機と目的

• セマンティックセグメンテーションデータセットのピクセル単位の手動アノテーションにかかる高コストと人的労力の問題を解決すること。
• テキストから画像への拡散モデルを活用し、複数のオブジェクトを含む現実的で多様なシーンを生成すること。
• 人為的アノテーションマスクに依存せずに、正確な疑似ラベルセグメンテーションマップを生成すること。
• アテンションに基づく精緻化と不確実性を考慮した訓練により、セグメンテーション品質を向上させること。
• 合成データセット生成の評価を標準化するためのベンチマーク（synth-VOCおよびsynth-COCO）を確立すること。

提案手法

• 複数の指定されたオブジェクトクラスを含む画像を生成するように拡散モデルを誘導するため、クラスプロンプトの付加を導入する。
• シーン内の個々のオブジェクトにおけるアテンションの局所化を強化するために、クラスプロンプトクロスアテンションを採用する。
• アテンションマップの精緻化とセグメンテーションマスク品質の向上のため、自己アテンションの指数化を適用する。
• 複数の特徴スケールにおけるクロスアテンションと自己アテンションマップを統合し、グローバルな構造とローカルな詳細のバランスを取る。
• アテンションマップからバイナリーセグメンテーションマスクを生成するため、ハイパーパrameter τ、α、βを用いた学習可能閾値化機構を用いる。
• 不確実性を考慮した損失関数とテスト時増強を用いた自己学習を適用し、合成データに対する一般化性能を向上させる。

Figure 1: Overview of our Dataset Diffusion for synthetic dataset generation. ( Left ) Given the target classes, our framework generates high-fidelity images with their corresponding pixel-level semantic segmentations. These segmentations serve as pseudo-labels for training a semantic segmenter. ( R

実験結果

リサーチクエスチョン

• RQ1 Stable Diffusionのようなテキストから画像への拡散モデルは、複雑で複数のオブジェクトを含むシーンのピクセル単位のセマンティックセグメンテーションラベルを効果的に生成するために適応可能か？
• RQ2 クロスアテンションと自己アテンションといったアテンションメカニズムは、生成されたセグメンテーションマスクの品質にどのように寄与するか？
• RQ3 特徴スケールの統合やマスク精緻化技術といったアーキテクチャ的要素が、セグメンテーション性能に与える影響は何か？
• RQ4 Dataset Diffusionによって生成された合成データセットで訓練されたモデルは、実世界のベンチマークにどの程度一般化可能か？
• RQ5 不確実性を考慮した訓練は、拡散モデルから得られる不完全な疑似ラベルを用いた際のロバストネスをどのように向上させるか？

主な発見

• Dataset DiffusionはPASCAL VOCベンチマークで64.8 mIoUを達成し、クロスアテンションのみを用いた場合に44.8 mIoUにとどまるDiffuMaskを著しく上回った。
• COCOベンチマークでは、合成データセットで訓練されたDeepLabV3モデルが34.2 mIoUを達成し、完全に教師ありの実データで訓練されたモデルの性能に近づいた。
• 自己アテンション精緻化のみでmIoUが44.8から61.0に上昇し、セグメンテーション精度の向上に果たすその重要性が示された。
• 不確実性を考慮した損失関数、自己学習、テスト時増強の組み合わせにより、mIoUは64.3にまで上昇し、各コンponentが段階的に性能向上に寄与していることが示された。
• マスク生成の最適なハイパーパrameterはτ=4、α=0.5、β=0.6であり、τが4を超えるとアテンションマップの過剰な平滑化が生じ、性能が著しく低下した。
• アテンションマップ統合に16および32のスケールを使用すると最良の結果が得られ、スケール8や64のみを使用すると、詳細の損失や細かいテクスチャへの過剰な強調により性能が劣化した。

Figure 2: Three stages of Dataset Diffusion . In the first stage, the target classes are provided, and text prompts are generated using language models such as ChatGPT [ 48 ] . Real captions (for COCO) or image-based captions (for VOC) can also be used for prompt generation to ensure standard evalua