[论文解读] A Review of Change of Variable Formulas for Generative Modeling

Ullrich Köthe|arXiv (Cornell University)|Aug 4, 2023

Advanced Data Processing TechniquesEngineering被引用 3

一句话总结

本文提出了一套统一框架，用于涵盖28种生成建模架构中的变量变换（CoV）公式，揭示了双射、单射、分割和随机流之间在结构上的关联。通过在编码器-解码器架构中分析编码/解码的对偶性，该框架建立了一个系统化的分类体系，澄清了关键差异，统一了不同方法，并揭示了归一化流与变分模型中尚未充分探索的研究空白。

ABSTRACT

Change-of-variables (CoV) formulas allow to reduce complicated probability densities to simpler ones by a learned transformation with tractable Jacobian determinant. They are thus powerful tools for maximum-likelihood learning, Bayesian inference, outlier detection, model selection, etc. CoV formulas have been derived for a large variety of model types, but this information is scattered over many separate works. We present a systematic treatment from the unifying perspective of encoder/decoder architectures, which collects 28 CoV formulas in a single place, reveals interesting relationships between seemingly diverse methods, emphasizes important distinctions that are not always clear in the literature, and identifies surprising gaps for future research.

研究动机与目标

• 统一现有文献中关于不同生成模型架构下变量变换（CoV）公式的零散研究。
• 识别并澄清现有文献中常被模糊处理的双射、单射、分割和随机流模型之间的关键差异。
• 通过统一的编码器-解码器视角，揭示看似无关的方法（如归一化流、自编码器和变分自编码器）之间的结构关联。
• 通过暴露当前方法论覆盖中的空白，突出强调尚未充分探索的研究方向，尤其是分割流与不可压缩流。

提出的方法

• 本文基于四种模型类型（双射、单射、分割和随机流）提出了一套系统化的CoV公式分类方法，其定义依据为维度、确定性与可逆性。
• 通过变换函数的雅可比行列式公式化变量变换，实现精确密度估计，其公式为 $ p(\boldsymbol{X}) = p(\boldsymbol{Z}) \cdot |\det \mathbf{J}_g|^{-1} $。
• 该框架将编码（数据到潜在码）与解码（潜在码到数据）视为对偶过程，支持一致性检验与更深层次的模型分析。
• 该方法被应用于具体实例，包括二维环形分布，展示了归一化流、自编码器与VAE如何均能从同一CoV原理推导得出。
• 通过逆Box-Muller变换与概率积分变换，从标准正态潜在码推导出解析的生成模型。
• 在不同架构间比较自洽模型，表明对潜在变量进行边缘化后，所有情况下均可恢复真实数据密度。

实验结果

研究问题

• RQ1 如何系统性地统一不同生成模型架构（如归一化流、自编码器与VAE）中的变量变换公式？
• RQ2 在维度、确定性与可逆性方面，双射、单射、分割与随机流在结构与功能上的关键差异是什么？
• RQ3 编码器-解码器的一致性与雅可比行列式在揭示模型行为与训练稳定性方面提供了哪些洞见？
• RQ4 为何尽管具有理论优势，分割流（如去噪归一化流与一般不可压缩流）仍较少受到关注？
• RQ5 所提出的框架如何阐明现代生成建模中编码率、重建误差与感知质量之间的权衡？

主要发现

• 本文在四种基本模型类型中识别出28种不同的变量变换公式，为研究人员提供了全面的参考。
• 研究证明，归一化流、自编码器与VAE均源于同一CoV原理，仅在变换的维度与确定性上存在差异。
• 对于二维环形分布，本文表明归一化流与VAE均可精确恢复真实密度 $ p^{*}(\boldsymbol{X}) $，验证了模型的一致性。
• 归一化流生成模型的雅可比行列式推导为 $ \det(\mathbf{J}_g) = \exp(-\|\boldsymbol{z}\|^2/2)(R_1^2 - R_0^2)/2 $，确保了精确的密度匹配。
• 采用1D潜在码与均匀角度不确定性 $ \alpha_0 $ 的VAE模型，通过边缘化可恢复真实数据密度，证明了其自洽性。
• 该框架揭示，尽管分割流在理论上具有强大潜力，但目前仍属研究空白，仅有少数已知实例，如去噪归一化流与一般不可压缩流。