[论文解读] Emergent Correspondence from Image Diffusion

Luming Tang, Menglin Jia+3 more|arXiv (Cornell University)|Jun 6, 2023

Advanced Neuroimaging Techniques and Applications被引用 54

一句话总结

本文展示扩散模型在没有监督的情况下隐式学习像素对应关系，并引入 Diffusion Features (DIFT) 来在真实图像上建立语义、几何和时间上的对应关系。

ABSTRACT

Finding correspondences between images is a fundamental problem in computer vision. In this paper, we show that correspondence emerges in image diffusion models without any explicit supervision. We propose a simple strategy to extract this implicit knowledge out of diffusion networks as image features, namely DIffusion FeaTures (DIFT), and use them to establish correspondences between real images. Without any additional fine-tuning or supervision on the task-specific data or annotations, DIFT is able to outperform both weakly-supervised methods and competitive off-the-shelf features in identifying semantic, geometric, and temporal correspondences. Particularly for semantic correspondence, DIFT from Stable Diffusion is able to outperform DINO and OpenCLIP by 19 and 14 accuracy points respectively on the challenging SPair-71k benchmark. It even outperforms the state-of-the-art supervised methods on 9 out of 18 categories while remaining on par for the overall performance. Project page: https://diffusionfeatures.github.io

研究动机与目标

• 证明图像扩散模型在没有显式监督的情况下学习到对应关系。
• 从预训练的扩散模型中为真实图像提取密集的扩散特征（DIFT）。
• 在语义、几何和时间对应基准上评估 DIFT，并与自监督和有监督方法进行比较。
• 展示如编辑传播和跨域匹配等实际应用。

提出的方法

• 使用预训练的扩散模型（Stable Diffusion 2-1 和 Ablated Diffusion Model）在反向扩散过程提取中间层激活。
• 通过向真实图像添加噪声以达到扩散时间步 t，并将其输入扩散模型以获得 DIFT，从而近似真实图像特征。
• 通过每个任务的二维网格搜索选择时间步 t 和网络层，以在语义信息与低级信息之间取得平衡。
• 在多个带噪声的实现上对特征求平均以提高稳定性。
• 使用像素特征之间的余弦距离执行最近邻匹配以建立对应关系。
• 在语义、几何和时间对应基准上进行评估，且无需微调或监督。

Figure 1 : Given a red source point in an image (far left), we would like to develop a model that automatically finds the corresponding point in the images on the right. Without any fine-tuning or correspondence supervision, our proposed diffusion features (DIFT) could establish semantic corresponde

实验结果

研究问题

• RQ1 为图像合成而训练的扩散模型是否可以隐式获得对跨图像匹配有用的像素级对应？
• RQ2 如何在不进行微调的情况下从扩散模型中提取密集的真实图像特征以用于对应任务？
• RQ3 对于不同的对应任务（语义、几何、时间），最优的扩散时间步 t 和层是什么？
• RQ4 在标准对应基准上，DIFT 与自监督和有监督方法相比如何？
• RQ5 DIFT 是否能够在无监督的情况下实现如编辑传播和视频/对象跟踪等任务？

主要发现

• DIFT 在真实图像上实现稳健的语义、几何和时间对应，且无需任何任务特定监督。
• 在 SPair-71k 上，DIFT sd 在语义 PCK 上分别比 DINO 和 OpenCLIP 高出 19 和 14 点；在 18 个类别中的 9 个类别上，与有监督方法在语义对应方面具有竞争力。
• DIFT 在 PF-WILLOW 和 SPair-71k 的基准测试中优于弱监督基线和自监督特征，在语义结果方面有时超越最先进的有监督方法。
• DIFT 在 HPatches 上提供强健的几何对应性能，使用 SuperPoint 关键点时可与几何监督方法相媲美。
• 在时间任务中，DIFT 在 DAVIS-2017 和 JHMDB 上实现了最先进或强劲的结果，无需视频特定训练，表明跨域泛化能力强。
• 编辑传播实验表明，基于 DIFT 的匹配比 OpenCLIP 能实现更准确的跨图像编辑。

Figure 2 : Given a Stable Diffusion generated image, we extract its intermediate layer activations at a certain time step $t$ during its backward process, and use them as the feature map to predict the corresponding points. Although simple, this method produces correct correspondences on generated i