[论文解读] Interpretable Diffusion via Information Decomposition

Xianghao Kong, Ollie Liu+3 more|arXiv (Cornell University)|Oct 12, 2023

Model Reduction and Neural NetworksPhysics and Astronomy被引用 3

一句话总结

本文提出了一种新颖的信息论框架，利用去噪扩散模型实现文本与图像之间信息流的细粒度、可解释性分解。通过从去噪模型中推导出互信息和条件互信息（CMI）的精确表达式，该方法实现了像素级和词级的可解释性，相较于注意力机制在检测提示干预的影响和测量组合理解方面表现更优。

ABSTRACT

Denoising diffusion models enable conditional generation and density modeling of complex relationships like images and text. However, the nature of the learned relationships is opaque making it difficult to understand precisely what relationships between words and parts of an image are captured, or to predict the effect of an intervention. We illuminate the fine-grained relationships learned by diffusion models by noticing a precise relationship between diffusion and information decomposition. Exact expressions for mutual information and conditional mutual information can be written in terms of the denoising model. Furthermore, pointwise estimates can be easily estimated as well, allowing us to ask questions about the relationships between specific images and captions. Decomposing information even further to understand which variables in a high-dimensional space carry information is a long-standing problem. For diffusion models, we show that a natural non-negative decomposition of mutual information emerges, allowing us to quantify informative relationships between words and pixels in an image. We exploit these new relations to measure the compositional understanding of diffusion models, to do unsupervised localization of objects in images, and to measure effects when selectively editing images through prompt interventions.

研究动机与目标

• 为解决扩散模型中可解释性不足的问题，其学习的图像-文本关系往往不清晰。
• 开发一种无需访问模型架构即可量化像素与词级细粒度信息流的方法。
• 提供一种与注意力机制兼容的黑箱替代方案，更准确捕捉提示干预的真实影响。
• 利用信息论度量评估并提升扩散模型的组合理解能力。
• 通过信息分解实现无监督的抽象词汇（如形容词、动词）在图像中的定位。

提出的方法

• 该方法利用扩散过程中最优去噪模型推导出互信息（MI）和条件互信息（CMI）的精确表达式。
• 利用高斯噪声下最小均方误差（MMSE）去噪特性，直接从去噪器输出表达信息量。
• 在像素和词级计算MI和CMI的点估计，实现样本级与变量级的可解释性。
• 该框架用于分析提示干预，其中CMI反映实际输出变化，而注意力图则不能。
• 该方法与模型架构无关，可与黑箱API配合使用，而注意力方法需访问模型结构。
• 利用信息分解量化组合理解能力，并在无监督条件下定位图像中的语义概念。

实验结果

研究问题

• RQ1 如何解释扩散模型中特定词汇与图像像素之间的细粒度关系？
• RQ2 条件互信息（CMI）在多大程度上优于注意力机制，更准确反映提示干预的真实影响？
• RQ3 信息论度量能否用于评估文本到图像扩散模型中的组合泛化能力？
• RQ4 信息分解与注意力方法在定位图像中抽象语言术语（如副词、形容词）方面有何差异？
• RQ5 CMI估计能否作为可靠度量，用于识别扩散模型中的模型电路或功能组件？

主要发现

• 所提出方法可直接从去噪模型中精确、高效地计算互信息与条件互信息，为扩散模型提供基于信息论的严谨解释。
• CMI估计能正确识别提示干预对生成图像无影响的情况，而注意力图则无法反映此现象，表明CMI作为依赖度量更具优势。
• 在ARO基准上，扩散模型的组合理解能力优于其对比学习视觉-语言模型（VLM）主干网络，但仍不及使用组合感知负样本预训练的模型。
• 信息分解在无监督条件下更有效地定位抽象词汇（如形容词、动词），因其对上下文依赖关系更敏感。
• 该方法揭示了提示干预期间互信息存在不一致的变化，提示可能存在数据集特异性或模型对输入上下文的敏感性。
• 该框架可适配高风险领域，如生物医学建模与蛋白质设计，其中识别关键信息变量至关重要。