[论文解读] DiffusionEdge: Diffusion Probabilistic Model for Crisp Edge Detection

Yunfan Ye, Kai Xu+3 more|arXiv (Cornell University)|Jan 4, 2024

Generative Adversarial Networks and Image Synthesis被引用 4

一句话总结

本文提出 DiffusionEdge，这是首个用于通用边缘检测的扩散概率模型，可直接生成清晰且精确的边缘图，无需后处理。通过在潜在空间中采用不确定性感知蒸馏和自适应傅里叶滤波进行训练，其在多个基准测试中达到最先进性能，在 NYUDv2 上分别将 ODS、OIS 和 AC 提升了最高 30.2%、28.1% 和 65.1%。

ABSTRACT

Limited by the encoder-decoder architecture, learning-based edge detectors usually have difficulty predicting edge maps that satisfy both correctness and crispness. With the recent success of the diffusion probabilistic model (DPM), we found it is especially suitable for accurate and crisp edge detection since the denoising process is directly applied to the original image size. Therefore, we propose the first diffusion model for the task of general edge detection, which we call DiffusionEdge. To avoid expensive computational resources while retaining the final performance, we apply DPM in the latent space and enable the classic cross-entropy loss which is uncertainty-aware in pixel level to directly optimize the parameters in latent space in a distillation manner. We also adopt a decoupled architecture to speed up the denoising process and propose a corresponding adaptive Fourier filter to adjust the latent features of specific frequencies. With all the technical designs, DiffusionEdge can be stably trained with limited resources, predicting crisp and accurate edge maps with much fewer augmentation strategies. Extensive experiments on four edge detection benchmarks demonstrate the superiority of DiffusionEdge both in correctness and crispness. On the NYUDv2 dataset, compared to the second best, we increase the ODS, OIS (without post-processing) and AC by 30.2%, 28.1% and 65.1%, respectively. Code: https://github.com/GuHuangAI/DiffusionEdge.

研究动机与目标

• 为解决长期以来在不依赖后处理的前提下同时实现高准确性和清晰边缘的挑战。
• 探究扩散概率模型（DPMs）是否能够克服编码器-解码器网络在边缘检测中的架构局限性。
• 实现在潜在空间中有效训练 DPM 的同时，保留来自像素级交叉熵损失的不确定性感知监督。
• 通过解耦架构和自适应傅里叶滤波，提升推理效率和特征适应性。
• 证明扩散模型可直接生成单像素宽、高质量的边缘图，适用于端到端下游任务。

提出的方法

• 采用潜在空间扩散概率模型（DPM），在保持高分辨率边缘预测的同时降低计算成本。
• 采用不确定性蒸馏，将来自像素级交叉熵损失的梯度传递至潜在空间，保留标注者鲁棒的不确定性先验。
• 引入解耦架构，通过分离特征学习与优化阶段，加速去噪过程。
• 应用自适应傅里叶滤波，选择性调整潜在空间中的频率分量，提升边缘定位精度与清晰度。
• 采用基于蒸馏的训练策略，利用标准像素级监督优化潜在参数，避免复杂重训练。
• 利用 DPM 的迭代去噪过程，直接在原始图像分辨率下学习复杂的边缘分布，避免上采样伪影。

实验结果

研究问题

• RQ1 扩散概率模型能否被有效适配于通用边缘检测，以同时实现准确性和清晰度？
• RQ2 在潜在空间中训练扩散模型时，如何保留来自像素级交叉熵损失的不确定性感知监督？
• RQ3 在傅里叶域中采用自适应频率滤波是否能提升基于扩散模型的边缘检测中的边缘定位精度与清晰度？
• RQ4 解耦架构是否能在保持高性能的同时实现更快的推理速度？
• RQ5 扩散模型能否生成单像素宽、无需后处理的边缘图，且在准确性和清晰度上均优于最先进 CNN 方法？

主要发现

• 在 NYUDv2 数据集上，与第二好的方法相比，DiffusionEdge 分别将 ODS、OIS（无后处理）和 AC 提升了 30.2%、28.1% 和 65.1%。
• 在 BIPED 数据集上，DiffusionEdge 达到 AC 0.849，表明其单像素宽边缘预测近乎完美，歧义极小。
• 在 Multicue 上，DiffusionEdge 达到 AC 0.462，即使仅使用随机翻转进行数据增强，其清晰度也优于 PiDiNet 基础方法最高达 0.138。
• 该方法在定性结果上表现优越，边缘既高度准确又锐利定位，与真实边界高度吻合。
• DiffusionEdge 在准确性和清晰度上均优于最先进 CNN 模型（如 UAED 和 EDTER），尤其在具有复杂纹理的挑战性基准上表现更优。
• 消融实验确认，自适应傅里叶滤波和不确定性蒸馏对实现高性能至关重要，AC 和 ODS 指标均有显著提升。