[论文解读] Fuzzy-Conditioned Diffusion and Diffusion Projection Attention Applied to Facial Image Correction

Majed El Helou|arXiv (Cornell University)|Jan 1, 2023

Generative Adversarial Networks and Image Synthesis被引用 1

一句话总结

本文提出模糊条件扩散和扩散投影注意力机制，用于自主面部图像修复，通过利用扩散模型先验和异常图，实现空间可变、可解释的图像恢复。与基线扩散模型相比，该方法在视觉保真度和可解释性修复图方面表现更优。

ABSTRACT

Image diffusion has recently shown remarkable performance in image synthesis and implicitly as an image prior. Such a prior has been used with conditioning to solve the inpainting problem, but only supporting binary user-based conditioning. We derive a fuzzy-conditioned diffusion, where implicit diffusion priors can be exploited with controllable strength. Our fuzzy conditioning can be applied pixel-wise, enabling the modification of different image components to varying degrees. Additionally, we propose an application to facial image correction, where we combine our fuzzy-conditioned diffusion with diffusion-derived attention maps. Our map estimates the degree of anomaly, and we obtain it by projecting on the diffusion space. We show how our approach also leads to interpretable and autonomous facial image correction.

研究动机与目标

• 通过在扩散模型中引入空间可变的模糊条件，将图像修复从二值条件推广至非二值条件。
• 开发基于扩散投影的注意力图，实现无需先验退化知识的像素级异常检测。
• 通过结合模糊条件、扩散先验和异常图，实现自主面部图像修复。
• 通过逐像素控制幻觉生成，提升图像修复的视觉保真度和可解释性。

提出的方法

• 模糊条件扩散通过可学习的空间可变权重图控制输入图像上条件强度，实现图像先验影响程度的局部或可变控制。
• 该方法通过在每个扩散步骤中，使用软性、可微分的权重图 m(x) 将输入图像与重去噪版本融合，修改 DDPM 去噪过程。
• 扩散投影注意力通过估计验证集上扩散模型潜在特征的期望激活值，计算归一化偏差图，识别异常像素。
• 异常图 m(x) 定义为 (1 − A(x))²，其中 A(x) 衡量潜在响应与期望值的偏离程度，从而促进对高异常区域的修复。
• 该框架将异常图作为模糊引导掩码应用于扩散过程，实现面部图像退化区域的自主修复。
• 该方法以逐像素方式运行，保留局部图像结构，同时基于学习到的分布先验纠正异常。

实验结果

研究问题

• RQ1 扩散模型能否通过非二值、空间可变的权重实现条件控制，以调节生成过程中图像先验的影响程度？
• RQ2 如何利用扩散模型生成可解释的、数据驱动的异常图，以实现像素级图像修复？
• RQ3 基于投影的注意力机制能否在不预先知晓退化类型的情况下，检测扩散空间中的分布外扰动？
• RQ4 与标准扩散模型相比，模糊条件扩散在面部图像修复中的视觉保真度和可解释性方面提升程度如何？
• RQ5 模糊条件与扩散投影注意力的结合能否实现完全自主、基于先验的图像修复？

主要发现

• 所提出的模糊条件扩散在非二值条件下实现了无限采样多样性，其性能优于 RePaint 等二值条件方法。
• 扩散投影注意力图在无退化模型先验知识的条件下，成功检测出像素级异常，如合成扰动实验所示。
• 该方法在面部图像修复中实现了更优的视觉质量，相比标准 DDPM 更好地保留了身份特征和面部结构。
• 修复图 m(x) 具有可解释性，视觉上清晰显示了每个像素的幻觉程度，数值越高表示异常程度越大。
• 该模型能有效修复面部退化，但可能错误地移除非面部物体（如手指），表明存在领域特定局限性。
• 该框架仅依赖图像先验和学习到的异常检测，无需显式退化建模，即实现了自主修复。