[论文解读] DAG: Depth-Aware Guidance with Denoising Diffusion Probabilistic Models

Gyeongnyeon Kim, Woo-Seok Jang+4 more|arXiv (Cornell University)|Dec 17, 2022

Advanced Vision and Imaging被引用 4

一句话总结

本文提出深度感知引导（Depth-Aware Guidance, DAG），一种新颖方法，通过伪标签和利用预训练扩散模型内部表征的深度先验引导，将深度感知生成整合到扩散模型中。通过利用标签高效的深度估计与两种新型引导策略，DAG 显著提升了生成图像的几何合理性，在 LSUN-Church 数据集上实现了 17.31 dFID 的最先进性能。

ABSTRACT

Generative models have recently undergone significant advancement due to the diffusion models. The success of these models can be often attributed to their use of guidance techniques, such as classifier or classifier-free guidance, which provide effective mechanisms to trade-off between fidelity and diversity. However, these methods are not capable of guiding a generated image to be aware of its geometric configuration, e.g., depth, which hinders their application to areas that require a certain level of depth awareness. To address this limitation, we propose a novel guidance method for diffusion models that uses estimated depth information derived from the rich intermediate representations of diffusion models. We first present label-efficient depth estimation framework using internal representations of diffusion models. Subsequently, we propose the incorporation of two guidance techniques based on pseudo-labeling and depth-domain diffusion prior during the sampling phase to self-condition the generated image using the estimated depth map. Experiments and comprehensive ablation studies demonstrate the effectiveness of our method in guiding the diffusion models towards the generation of geometrically plausible images.

研究动机与目标

• 解决扩散模型缺乏几何意识的问题，后者常生成深度不合理的图像和杂乱的布局。
• 开发一种基于预训练扩散模型内部表征的标签高效深度估计框架。
• 提出两种新型引导策略——深度一致性引导和深度先验引导，以在采样阶段注入深度感知。
• 引入一种基于深度估计网络的新评估指标，以更好地捕捉生成图像的几何可行性。
• 证明 DAG 生成的图像可作为训练单目深度估计模型的有效数据。

提出的方法

• 利用预训练扩散模型中的丰富中间特征，训练一种无需真实深度标注的标签高效深度预测器。
• 通过一致性正则化应用伪标签：模型被引导以改善较差的深度预测，将更优的预测视为伪标签。
• 通过使用独立的预训练扩散 U-Net 作为先验网络，在采样过程中注入深度信息，引入深度先验引导。
• 采用基于 U-Net 的主干网络进行深度估计，并在 DAG 生成的合成数据上微调，以提升单目深度预测性能。
• 采用多尺度深度图插值策略，使生成的深度图与先验网络的分辨率对齐，以实现深度先验引导。
• 提出一种新评估指标 dFID，通过预训练的深度估计网络计算，用于衡量生成图像的深度可行性。

实验结果

研究问题

• RQ1 能否有效利用预训练扩散模型的内部表征实现标签高效的深度估计？
• RQ2 一致性正则化与深度先验引导是否能协同提升基于扩散模型的图像生成的几何合理性？
• RQ3 所提出的 DAG 框架是否在生成深度感知图像方面优于基线扩散模型，尤其是在复杂的三维场景中？
• RQ4 DAG 生成的图像能否作为高质量合成数据，用于提升单目深度估计模型的性能？
• RQ5 引导尺度和先验网络分辨率的选择如何影响深度感知图像生成的质量？

主要发现

• 所提出的 DAG 框架在 LSUN-Church 数据集上实现了 17.31 的 dFID 得分，优于基线（17.69）和消融变体。
• 使用 128×128 先验网络的深度先验引导（DPG）实现了最佳 dFID（25.07），优于更小分辨率。
• 引导尺度为 40 时，深度一致性引导（DCG）和深度先验引导（DPG）均达到最优性能。
• 在 DAG 生成图像上训练深度估计器可提升其性能，δ<1.25 下准确率达到 77.54%，优于无引导样本的 72.55%。
• 定性结果表明，DAG 生成的图像具有更清晰的场景布局、更一致的深度图和更优的表面法线预测，优于基线模型。
• 消融研究证实，DCG 和 DPG 独立地促进几何合理性的提升，二者结合可获得最佳结果。