[論文レビュー] DAG: Depth-Aware Guidance with Denoising Diffusion Probabilistic Models

Gyeongnyeon Kim, Woo-Seok Jang+4 more|arXiv (Cornell University)|Dec 17, 2022

Advanced Vision and Imaging被引用数 4

ひとこと要約

本稿では、事前学習済み拡散モデルの内部表現を用いた擬似ラベル付けと深度事前分布のガイダンスを通じて、深度認識生成を統合することにより、拡散モデルの性能を向上させる、新しい手法Depth-Aware Guidance (DAG) を提案する。ラベル効率の良い深度推定と2つの新しいガイダンス戦略を活用することで、生成画像における幾何的整合性が顕著に向上し、LSUN-Churchで17.31のdFIDスコアを達成し、深度認識画像生成分野で最先端の性能を発揮する。

ABSTRACT

Generative models have recently undergone significant advancement due to the diffusion models. The success of these models can be often attributed to their use of guidance techniques, such as classifier or classifier-free guidance, which provide effective mechanisms to trade-off between fidelity and diversity. However, these methods are not capable of guiding a generated image to be aware of its geometric configuration, e.g., depth, which hinders their application to areas that require a certain level of depth awareness. To address this limitation, we propose a novel guidance method for diffusion models that uses estimated depth information derived from the rich intermediate representations of diffusion models. We first present label-efficient depth estimation framework using internal representations of diffusion models. Subsequently, we propose the incorporation of two guidance techniques based on pseudo-labeling and depth-domain diffusion prior during the sampling phase to self-condition the generated image using the estimated depth map. Experiments and comprehensive ablation studies demonstrate the effectiveness of our method in guiding the diffusion models towards the generation of geometrically plausible images.

研究の動機と目的

• 拡散モデルに幾何的認識が欠如しているため、しばしば不自然な深度やごちゃついたレイアウトを持つ画像を生成するという問題に対処すること。
• 事前学習済み拡散モデルの内部表現を用いて、真値深度アノテーションを必要としないラベル効率の良い深度推定フレームワークを開発すること。
• サンプリング段階中に深度認識を統合する2つの新しいガイダンス戦略—深度一貫性ガイダンスと深度事前分布ガイダンス—を提案すること。
• 深度推定ネットワークに基づく新しい評価指標を導入し、生成画像の幾何的妥当性をよりよく捉えること。
• DAGによって生成された画像が、単眼深度推定モデルの学習に有効なデータとして機能することを実証すること。

提案手法

• 事前学習済み拡散モデルの豊富な中間特徴量を活用し、真値深度アノテーションを一切必要としないラベル効率の良い深度予測子を訓練する。
• 一貫性正則化による擬似ラベル付けを適用：より良い予測結果を擬似ラベルとして扱い、悪い予測結果を改善するようにモデルをガイドする。
• 別途事前学習済みの拡散U-Netを事前分布ネットワークとして用い、サンプリング段階中に深度情報を注入する深度事前分布ガイダンスを導入する。
• 深度推定にU-Netベースのバックボーンを採用し、DAGによって生成された合成データで微調整することで、単眼深度予測性能を向上させる。
• 深度事前分布ガイダンスの際、生成された深度マップと事前分布ネットワークの解像度を一致させるために、マルチスケールの深度マップ補間戦略を採用する。
• 事前学習済み深度推定ネットワークを用いて、生成画像の深度妥当性を測定する新しい評価指標dFIDを提案する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済み拡散モデルの内部表現を、ラベル効率の良い深度推定に効果的に活用できるか？
• RQ2 一貫性正則化と深度事前分布ガイダンスを併用することで、拡散ベースの画像生成における幾何的整合性が向上するか？
• RQ3 提案されたDAGフレームワークは、特に複雑な3Dシーンにおいて、ベースラインの拡散モデルを上回る深度認識画像生成性能を発揮するか？
• RQ4 DAGによって生成された画像は、高品質な合成データとして、単眼深度推定モデルの性能向上に寄与できるか？
• RQ5 ガイダンススケールや事前分布ネットワークの解像度の選択が、深度認識画像生成の品質にどのように影響するか？

主な発見

• 提案されたDAGフレームワークは、LSUN-Churchデータセットで17.31のdFIDスコアを達成し、ベースライン（17.69）およびアブレーションバージョンを上回った。
• 128×128の事前分布ネットワークを用いた深度事前分布ガイダンス（DPG）が最良のdFID（25.07）を記録し、より小さい解像度よりも優れた性能を示した。
• 深度一貫性ガイダンス（DCG）および深度事前分布ガイダンス（DPG）の両方において、ガイダンススケール40が最適な性能を発揮した。
• DAGによって生成された画像で深度推定器を学習させることで、δ<1.25における正確度が77.54%に向上し、ガイドなしのサンプルでは72.55%にとどまった。
• 定性的な結果から、DAGによって生成された画像は、ベースラインモデルと比較して、より明確なシーンレイアウト、より一貫性のある深度マップ、より良い表面法線予測を示した。
• アブレーションスタディの結果、DCGとDPGの両方が幾何的整合性の向上に独立して寄与しており、併用することで最も優れた結果が得られた。