[论文解读] From Posterior Sampling to Meaningful Diversity in Image Restoration

Noa Cohen, H Manor+2 more|arXiv (Cornell University)|Oct 24, 2023

Advanced Image Processing Techniques被引用 4

一句话总结

本文挑战了在图像复原中使用后验采样的常见做法，认为其由于重尾分布导致生成语义冗余的输出。本文提出后处理技术及一种轻量级基于扩散的生成方法，通过最大化语义差异来生成具有实际意义的多样化复原结果，在用户研究中显著优于后验采样。

ABSTRACT

Image restoration problems are typically ill-posed in the sense that each degraded image can be restored in infinitely many valid ways. To accommodate this, many works generate a diverse set of outputs by attempting to randomly sample from the posterior distribution of natural images given the degraded input. Here we argue that this strategy is commonly of limited practical value because of the heavy tail of the posterior distribution. Consider for example inpainting a missing region of the sky in an image. Since there is a high probability that the missing region contains no object but clouds, any set of samples from the posterior would be entirely dominated by (practically identical) completions of sky. However, arguably, presenting users with only one clear sky completion, along with several alternative solutions such as airships, birds, and balloons, would better outline the set of possibilities. In this paper, we initiate the study of meaningfully diverse image restoration. We explore several post-processing approaches that can be combined with any diverse image restoration method to yield semantically meaningful diversity. Moreover, we propose a practical approach for allowing diffusion based image restoration methods to generate meaningfully diverse outputs, while incurring only negligent computational overhead. We conduct extensive user studies to analyze the proposed techniques, and find the strategy of reducing similarity between outputs to be significantly favorable over posterior sampling. Code and examples are available at https://noa-cohen.github.io/MeaningfulDiversityInIR.

研究动机与目标

• 识别在图像复原中使用后验采样实现多样化时的理论缺陷，即高概率、语义相似的输出占主导地位。
• 分析标准后验采样为何在图像修复和超分辨率等任务中无法充分代表所有可能的语义解决方案。
• 开发实用的后处理与生成策略，以生成语义多样且感知上有意义的图像复原结果。
• 通过用户研究评估这些策略，并证明其在传达解决方案多样性方面显著优于后验采样。

提出的方法

• 提出一种基于最远点采样（FPS）的后处理子采样策略，从一组后验样本中选择多样化的输出，以最大化特征空间中的语义距离。
• 引入一种基于层次树的探索结构，按感知相似性组织复原结果，实现用户对多样化解决方案的交互式、多层级探索。
• 开发一种基于扩散的生成方法，引入多样性引导机制，通过修改逆去噪过程以偏好语义上不同的样本，计算开销可忽略不计。
• 使用特征空间距离（例如，通过预训练的属性预测器）来度量语义相似性，并指导子采样与树结构构建。
• 采用最近邻划分方法，将剩余图像分配至层次树中的代表性样本，确保细粒度的语义分组。
• 在多个任务中应用该方法——包括图像修复、超分辨率和压缩伪影去除，使用如DDRM和RePaint等成熟的扩散模型。

实验结果

研究问题

• RQ1 为何在图像复原中，尽管生成了大量样本，后验采样仍常无法产生感知上多样的输出？
• RQ2 图像复原中的‘有意义的多样性’由什么定义？如何实现或定量衡量？
• RQ3 后处理技术如最远点采样能否显著提升现有生成模型输出的感知多样性？
• RQ4 是否可能在计算开销极低的前提下，实现在基于扩散模型中的有意义多样化生成？
• RQ5 在真实世界的图像复原任务中，用户如何感知并更偏好有意义的多样化复原结果，而非后验采样结果？

主要发现

• 图像复原中的后验采样受高概率、语义相似输出的主导——例如在图像修复中多次生成相同的天空补全——导致感知多样性较低。
• 用户研究表明，通过最大化输出间语义距离（如使用最远点采样）的技术，显著优于后验采样，能更有效地传达解决方案的多样性。
• 所提出的层次树结构使用户能直观、交互式地探索多样化复原结果，可深入查看语义相似的替代方案。
• 基于扩散的多样性引导方法仅带来可忽略的推理时间增加，使其在实际部署中具有可行性。
• 在多个数据集和任务中，子采样方法（如FPS和均匀化）在定性和定量评估中均优于朴素的后验采样。
• 该方法成功捕捉了后验采样无法体现的多样化语义属性（如面部表情、配饰、物体），即使这些属性在后验分布中较为罕见。