[論文レビュー] DiffusionDepth: Diffusion Denoising Approach for Monocular Depth Estimation

Yiqun Duan, Xianda Guo+1 more|arXiv (Cornell University)|Mar 9, 2023

Advanced Vision and Imaging被引用数 5

ひとこと要約

本稿では、単眼視覚ガイドのもとで潜在空間内で反復的に最適化することで、ランダムな深度初期化を高解像度で詳細な深度マップに改善する、新しい拡散ベースのノイズ除去フレームワーク、DiffusionDepthを提案する。自己拡散学習戦略を採用し、疎な真値深度データではなく、自身の最適化済み予測をノイズ除去することで、モード崩壊を克服し、KITTIおよびNYU-Depth-V2でそれぞれ0.298 RMSEおよび1.452 RMSEという最先端の性能を達成した。また、ResNetでは14 FPS、Swinでは5 FPSという実用的な推論速度を維持している。

ABSTRACT

Monocular depth estimation is a challenging task that predicts the pixel-wise depth from a single 2D image. Current methods typically model this problem as a regression or classification task. We propose DiffusionDepth, a new approach that reformulates monocular depth estimation as a denoising diffusion process. It learns an iterative denoising process to `denoise' random depth distribution into a depth map with the guidance of monocular visual conditions. The process is performed in the latent space encoded by a dedicated depth encoder and decoder. Instead of diffusing ground truth (GT) depth, the model learns to reverse the process of diffusing the refined depth of itself into random depth distribution. This self-diffusion formulation overcomes the difficulty of applying generative models to sparse GT depth scenarios. The proposed approach benefits this task by refining depth estimation step by step, which is superior for generating accurate and highly detailed depth maps. Experimental results on KITTI and NYU-Depth-V2 datasets suggest that a simple yet efficient diffusion approach could reach state-of-the-art performance in both indoor and outdoor scenarios with acceptable inference time.

研究の動機と目的

• 回帰ベースの単眼深度推定の限界、特に過学習や詳細な復元の困難さを解消するため、深度推定を拡散ノイズ除去プロセスに再定式化すること。
• KITTIのようなデータセットで一般的に見られる疎な真値深度データを用いた学習において、生成モデルのモード崩壊問題を克服すること。
• 深度表現のコンactな学習済み潜在空間でノイズ除去を実行することで、高解像度の深度予測を可能にすること。
• 粗い構造と細かい構造の両方を捉える反復的精錬によって、深度マップの品質を向上させること。
• 拡散モデルが生成を超えて3次元認識タスク、特に深度推定において実用的かつ効果的であることを示すこと。

提案手法

• モデルは、単眼深度推定をノイズ除去拡散プロセスとして定式化し、単眼視覚的条件をガイドとして用いて、ランダムな深度分布を反復的に最適化して一貫性のある深度マップに改善する。
• ノイズ除去プロセスは、専用の深度オートエンコーダによって符号化された潜在空間で実行され、計算コストを低減しつつ高解像度出力を可能にする。
• 自己拡散学習戦略を導入：真値深度を拡散する代わりに、モデル自身の最適化済み深度予測に段階的にノイズを追加し、有効なマスクを介して監視を実施する。
• 視覚的条件ガイドは、視覚バックボーン（例：ResNet、Swin Transformer）から得られるマルチスケール特徴の階層的統合により、FPNを介して統合され、各ステップのノイズ除去ブロックをガイドする。
• 潜在空間ではU-Netに類似したアーキテクチャを採用し、ノイズ除去中に視覚特徴にクロスアテンションを適用することで、正確な空間的整合性を実現する。
• 一般化性と不完全な監視への耐性を高めるために、トレーニング中にランダムクロップ、ジッタ、フリップなどのデータ拡張が適用される。

実験結果

リサーチクエスチョン

• RQ1 回帰や分類で従来解決されてきた単眼深度推定タスクに、拡散ベースの生成モデルを効果的に適応できるか？
• RQ2 疎な真値深度監視しか利用できない状況で、拡散モデルを効果的に学習する方法は何か？特にモード崩壊を回避するには？
• RQ3 潜在空間での反復的精錬は、エンドツーエンド回帰と比較して、より高解像度で詳細な深度マップを生成できるか？
• RQ4 自己拡散学習戦略は、疎な真値深度データに対して標準的な拡散学習と比較して、性能と安定性に優れているか？
• RQ5 提案手法は、さまざまな視覚バックボーンや深度監視フォーマット（例：ビンベース、疎な真値）とどれほど互換性があるか？

主な発見

• DiffusionDepthは、公式なオフラインテストスプリットにおいて、NYU-Depth-V2で0.298 RMSE、KITTIで1.452 RMSEという新たな最先端性能を達成した。
• 自己拡散学習戦略により、疎な真値深度データにおいてもモード崩壊が効果的に回避された。標準的な拡散学習とは異なり、安定した収束と高品質な出力が得られた。
• RTX 3090 GPUを用いた20ステップのノイズ除去で、ResNetバックボーンでは14 FPS、Swin Transformerバックボーンでは5 FPSという推論速度を達成し、リアルタイム応用に実用的であることが示された。
• アブレーションスタディの結果、より高解像度の深度潜在空間（ダウンサンプリングレート×2）を用いることで、×4よりもわずかに高い性能が得られ、空間的詳細の保持の重要性が示された。
• 本フレームワークは、CNN（Res34、Res50）およびTransformer（Swin）といったさまざまな視覚バックボーンと互換性があり、ビンベース予測（例：BinsFormer）などの追加監視も効果的に活用できる。
• アブレーションにより、ノイズ除去ステップ数が少ないほどモデル性能が低下することが確認されたが、特定の推論ステップ（例：t=15）に合わせた微調整により、直接推論よりも優れた結果が得られた。これは、ステップに特化した適応の必要性を示唆している。