[論文レビュー] DDP: Diffusion Model for Dense Visual Prediction

Yuanfeng Ji, Zhe Chen+7 more|arXiv (Cornell University)|Mar 30, 2023

Advanced Image and Video Retrieval Techniques被引用数 4

ひとこと要約

DDPは、画像分類、深度推定、BEVマップ分類などの密度の高い視覚予測タスク向けに、シンプルで効率的な拡散フレームワークを提案する。入力画像の特徴量によってガイドされる軽量なデコーダーを用いて、ガウス分布に従う潜在マップからノイズを段階的に除去する条件付きノイズ除去拡散プロセスを適用することで、6つのベンチマークで最先端または競争力のある性能を達成した。Cityscapesでは83.9 mIoU、KITTIでは0.05 RELを達成し、動的推論と不確実性認識を可能にした。

ABSTRACT

We propose a simple, efficient, yet powerful framework for dense visual predictions based on the conditional diffusion pipeline. Our approach follows a "noise-to-map" generative paradigm for prediction by progressively removing noise from a random Gaussian distribution, guided by the image. The method, called DDP, efficiently extends the denoising diffusion process into the modern perception pipeline. Without task-specific design and architecture customization, DDP is easy to generalize to most dense prediction tasks, e.g., semantic segmentation and depth estimation. In addition, DDP shows attractive properties such as dynamic inference and uncertainty awareness, in contrast to previous single-step discriminative methods. We show top results on three representative tasks with six diverse benchmarks, without tricks, DDP achieves state-of-the-art or competitive performance on each task compared to the specialist counterparts. For example, semantic segmentation (83.9 mIoU on Cityscapes), BEV map segmentation (70.6 mIoU on nuScenes), and depth estimation (0.05 REL on KITTI). We hope that our approach will serve as a solid baseline and facilitate future research

研究の動機と目的

• タスク固有のアーキテクチャ設計を避ける、密度の高い視覚予測のための汎用フレームワークの開発。
• 高効率性と優れた一般化性能を備えた現代の認識パイプラインに、ノイズ除去拡散モデルを拡張すること。
• 従来の1ステップの識別モデルに欠けている動的推論と不確実性認識の特性を実現すること。
• アーキテクチャ的・訓練テクニック的トリックを用いずに、多様なベンチマークで最先端の性能を達成すること。

提案手法

• DDPは、入力画像の特徴量によってガイドされる条件付き拡散パイプラインを採用し、ガウス分布に従う潜在マップからノイズを段階的に除去する。
• 学習段階では、正例マップがエンコードされ、ノイズスケジュールを用いてノイズが付加され、Swin Transformerのようなバックボーンから得られる画像特徴量と融合される。
• 軽量なマップデコーダーは、画像条件付き特徴量を用いてノイズの多いマップを復元し、クリアな予測を生成する。
• 推論段階では、入力画像によってガイドされる逆拡散プロセスを繰り返し適用することで、ランダムなノイズサンプルから予測を段階的に改善する。
• フレームワークは、一度だけ実行される画像エンコーダーと、繰り返し実行される拡散デコーダーに分離されており、効率的な複数ステップ推論を可能にする。
• ラベルエンコーディングにはクラス埋め込みを用い、学習可能なスケーリングファクター（最適値は0.01）を適用し、ノイズスケジュールはより優れたノイズ除去能力を実現するため、コサインに最適化されている。

実験結果

リサーチクエスチョン

• RQ1 アーキテクチャのカスタマイズなしに、シンプルで統一的な拡散フレームワークが、タスク固有の識別モデルを上回る性能を達成できるか？
• RQ2 ノイズスケジュールとラベルエンコーディング戦略の選択が、密度の高い予測タスクの性能に与える影響は何か？
• RQ3 拡散モデルは、従来の1ステップモデルとは異なり、自然に動的推論と不確実性推定をサポートできるか？
• RQ4 拡散ベースの密度予測フレームワークにおいて、推論速度と精度のトレードオフは何か？

主な発見

• DDPは、ConvNeXt-Lバックボーンを用いて、Cityscapesのセマンティックセグメンテーションで83.9 mIoUを達成し、専門的なモデルを上回った。
• nuScenesのBEVマップセグメンテーションでは、70.6 mIoUを達成し、BEVFusionベースライン（62.7 mIoU）を顕著に上回った。
• 深度推定タスクでは、Swin-Lバックボーンを用いてKITTIで0.05 RELという最高水準の性能を達成し、回帰タスクにおける強力な性能を示した。
• 1ステップのサンプリングでのみ、ADE20Kで46.1 mIoUを達成し、UperNet や K-Net を上回り、3ステップに増やすと47.0 mIoUまで向上した。
• モデルは動的推論を示した：サンプリングステップを増やすことで、FLOPsとFPSのコストをほとんど増大させずに、精度が向上した。
• アブレーションスタディの結果、コサインノイズスケジュールとスケーリングファクタ0.01を用いたクラス埋め込みが最適な結果をもたらし、6ブロックのデコーダーは性能とパラメータ効率のバランスを最適にした。