[论文解读] Diffusion Models and Representation Learning: A Survey

Michael Fuest, Pingchuan Ma+4 more|arXiv (Cornell University)|Jun 30, 2024

Machine Learning in Healthcare被引用 6

一句话总结

本论文综述正则化流（Normalizing Flows），详细介绍其理论、架构、训练及在分布学习中的可处理密度估计与采样的应用，并概述未解决的问题与未来方向。

ABSTRACT

Diffusion Models are popular generative modeling methods in various vision tasks, attracting significant attention. They can be considered a unique instance of self-supervised learning methods due to their independence from label annotation. This survey explores the interplay between diffusion models and representation learning. It provides an overview of diffusion models' essential aspects, including mathematical foundations, popular denoising network architectures, and guidance methods. Various approaches related to diffusion models and representation learning are detailed. These include frameworks that leverage representations learned from pre-trained diffusion models for subsequent recognition tasks and methods that utilize advancements in representation and self-supervised learning to enhance diffusion models. This survey aims to offer a comprehensive overview of the taxonomy between diffusion models and representation learning, identifying key areas of existing concerns and potential exploration. Github link: https://github.com/dongzhuoyao/Diffusion-Representation-Learning-Survey-Taxonomy

研究动机与目标

• 为正则化流提供背景和直觉，以及它们与其他生成模型的区别。
• 评述主要的 NF 架构及它们的计算属性（密度评估、采样及雅可比行列式）。
• 讨论与基于 NF 的密度估计与生成相关的训练范式、数据集和性能基准。
• 指出开放问题、挑战以及未来 NF 研究的有前景方向。

提出的方法

• 将 Normalizing Flows 定义为可逆、可微分的变换，将简单基分布推向复杂目标分布。
• 分解复合流的雅可比行列式，以实现可处理的密度评估。
• 将流架构进行分类（逐元素、线性、平面/径向、耦合、自回归、残差/无穷小），并讨论它们的权衡。
• 解释训练方法，包括最大似然、变分/推断视角和重参数化技巧。
• 给出耦合和自回归流变体及其条件化方案和普适性特性。
• 强调通过结构化变换实现高效性、可逆性和行列式计算的实际考虑。

Figure 1: Change of variables (Equation ( 2.1 )). Top-left: the density of the source $p_{\mathbf{Z}}$ . Top-right: the density function of the target distribution $p_{\mathbf{Y}}(\mathbf{y})$ . There exists a bijective function $\mathbf{g}$ , such that $p_{\mathbf{Y}}=\mathbf{g}_{*}p_{\mathbf{Z}}$

实验结果

研究问题

• RQ1 正则化流是什么，以及它们如何实现可处理的密度估计和采样？
• RQ2 正则化流存在哪些架构族，它们的计算权衡是什么？
• RQ3 如何有效地训练流，以及基分布和雅可比行列式的作用？
• RQ4 跨越 NF 架构的实际考虑因素（可逆性、效率、普适性）？
• RQ5 正则化流在分布学习中存在哪些开放问题和未来方向？

主要发现

• 正则化流通过可逆变换和可计算的雅可比行列式提供可处理的密度评估和采样。
• 简单双射的组合在保持似然计算可行的同时，产生表达力强的目标分布。
• 耦合和自回归流由于有利的雅可比结构和条件化机制，是最广泛使用的架构。
• 各种线性流变体（对角、三角、LU/QR 分解、卷积）在表达能力和计算效率之间取得平衡。
• 平面流和径向流提供简洁性，但在可逆性和表达力方面有限，而 Sylvester 与多尺度耦合流提升了效率和灵活性。
• 普适性结果表明，具有适当耦合函数的自回归流在给定充足容量和数据时，可以逼近任意目标密度。

Figure 2: Overview of flows discussed in this review. We start with elementwise bijections, linear flows, and planar and radial flows. All of these have drawbacks and are limited in utility. We then discuss two architectures (coupling flows and autoregressive flows) which support invertible non-line