[论文解读] An analytic theory of creativity in convolutional diffusion models

Mason Kamb, Surya Ganguli|arXiv (Cornell University)|Dec 28, 2024

Creativity in Education and NeurosciencePsychology被引用 3

一句话总结

本文提出了首个关于卷积扩散模型创造力的解析性、可解释性且可预测的理论，表明卷积架构中的局部性和等变性会阻止精确的得分匹配，从而通过局部图像块拼贴实现组合式创造力。所提出的等变局部得分（ELS）机器能够以高精度预测训练后模型的输出（在CIFAR10、FashionMNIST和MNIST上的中位决定系数r²为0.90–0.94），揭示了扩散模型如何通过重新组合训练阶段的局部图像块来生成新颖且富有创造力的图像。

ABSTRACT

We obtain an analytic, interpretable and predictive theory of creativity in convolutional diffusion models. Indeed, score-matching diffusion models can generate highly original images that lie far from their training data. However, optimal score-matching theory suggests that these models should only be able to produce memorized training examples. To reconcile this theory-experiment gap, we identify two simple inductive biases, locality and equivariance, that: (1) induce a form of combinatorial creativity by preventing optimal score-matching; (2) result in fully analytic, completely mechanistically interpretable, local score (LS) and equivariant local score (ELS) machines that, (3) after calibrating a single time-dependent hyperparameter can quantitatively predict the outputs of trained convolution only diffusion models (like ResNets and UNets) with high accuracy (median $r^2$ of $0.95, 0.94, 0.94, 0.96$ for our top model on CIFAR10, FashionMNIST, MNIST, and CelebA). Our model reveals a locally consistent patch mosaic mechanism of creativity, in which diffusion models create exponentially many novel images by mixing and matching different local training set patches at different scales and image locations. Our theory also partially predicts the outputs of pre-trained self-attention enabled UNets (median $r^2 \sim 0.77$ on CIFAR10), revealing an intriguing role for attention in carving out semantic coherence from local patch mosaics.

研究动机与目标

• 解决一个悖论：尽管扩散模型被训练为记忆训练数据，为何仍能生成远超训练数据分布的高创造力、新颖图像。
• 识别出阻止精确得分匹配并促成创造性泛化的归纳偏置——局部性与等变性。
• 开发一个完全解析、机制可解释的模型（即ELS机器），在无需任何训练的情况下定量预测训练后卷积扩散模型的输出。
• 解释UNet中的自注意力机制如何从局部一致的图像块拼贴中部分恢复语义连贯性。
• 提供一个可预测的框架，以理解扩散模型中创造力的起源，超越单纯的记忆化行为。

提出的方法

• 在卷积层的局部性与等变性约束下，推导理想得分函数的最小均方误差（MMSE）近似。
• 将等变局部得分（ELS）机器形式化为一种闭式解析解，强制实现平移等变性与有限感受野的局部性。
• 使用零填充与循环填充方案来建模边界效应，并评估其对得分近似精度的影响。
• 将ELS预测结果与在MNIST、CIFAR10和FashionMNIST上训练的U-Net与ResNet架构的采样输出直接比较。
• 将分析扩展至配备自注意力机制的UNet，通过比较ELS预测与模型输出，评估注意力机制在语义连贯性中的作用。
• 针对每种配置的100组样本，计算ELS预测与实际模型输出之间的像素级相关系数（r²），以量化预测精度。

Figure 1 : Our analytic theory (left columns) can accurately predict on a case by case basis the outputs of convolutional diffusion models (right columns), with U-Net or ResNet architectures trained on MNIST, CIFAR10 and FashionMNIST (left to right), even when these outputs are highly creative and f

实验结果

研究问题

• RQ1 为何扩散模型尽管被训练为逆转一个仅应记忆训练样本的扩散过程，却仍能生成远超训练数据分布的高创造力、新颖图像？
• RQ2 卷积架构中的归纳偏置（如局部性与等变性）如何阻止精确得分匹配，反而导致组合式创造力？
• RQ3 能否通过一个完全解析、可解释的模型，在无需任何训练的情况下，高精度预测训练后卷积扩散模型的输出？
• RQ4 UNet中的自注意力机制在多大程度上提升了源自局部图像块拼贴的输出的语义连贯性？
• RQ5 边界条件（零填充与循环填充）如何影响ELS机器的预测能力？

主要发现

• 在CIFAR10、FashionMNIST和MNIST上，ELS机器与训练后U-Net和ResNet模型的像素级相关系数（r²）中位数分别为0.90、0.91和0.94。
• 在CIFAR10上，ELS机器在99%的样本中优于理想得分匹配基线（r² = 0.82 vs. 0.39），后者输出的是记忆化的样本。
• 在MNIST上的ResNet中，ELS机器与模型输出的r²达到0.94，显著优于理想得分基线（r² = 0.62）。
• 对于微调后的自注意力UNet，ELS机器在CIFAR10上的中位r²为0.75，表明其具备部分预测能力，并揭示了注意力机制在组织局部拼贴中的作用。
• 该理论将创造力解释为一种局部一致的图像块拼贴模型，新颖图像源于训练集中图像块在不同图像位置上的组合再排列。
• 循环填充导致ELS性能下降（如在MNIST上r² = 0.77），但仍持续优于理想得分基线，表明边界效应虽破坏但未完全消除预测准确性。

(a) IS Machine