[论文解读] Densely connected normalizing flows

Matej Grcić, Ivan Grubišić+1 more|arXiv (Cornell University)|Jun 8, 2021

Generative Adversarial Networks and Image Synthesis被引用 6

一句话总结

该论文提出DenseFlow，一种归一化流架构，通过利用跨单元仿射耦合预处理的噪声，逐步增强中间潜在表征，从而提升模型表达能力。通过在模块内耦合中融合密集连接块与Nyström自注意力机制，DenseFlow在中等计算预算下于ImageNet32和ImageNet64上实现了最先进（SOTA）的似然性能，表明潜在维度分布与噪声条件化可显著提升流模型容量，超越单纯增加深度与宽度的效果。

ABSTRACT

Normalizing flows are bijective mappings between inputs and latent representations with a fully factorized distribution. They are very attractive due to exact likelihood valuation and efficient sampling. However, their effective capacity is often insufficient since the bijectivity constraint limits the model width. We address this issue by incrementally padding intermediate representations with noise. We precondition the noise in accordance with previous invertible units, which we describe as cross-unit coupling. Our invertible glow-like modules increase the model expressivity by fusing a densely connected block with Nystrom self-attention. We refer to our architecture as DenseFlow since both cross-unit and intra-module couplings rely on dense connectivity. Experiments show significant improvements due to the proposed contributions and reveal state-of-the-art density estimation under moderate computing budgets.

研究动机与目标

• 为解决由于双射性约束限制模型宽度，导致归一化流表达能力受限的问题。
• 在不显著增加计算成本的前提下，提升似然估计性能。
• 通过逐步注入噪声，战略性地增加潜在维度，以增强模型容量。
• 设计一种高效可逆架构，支持快速解析反演与有效特征融合。
• 探究潜在分布动态在模型深度上的变化对生成性能的影响。

提出的方法

• 提出跨单元耦合机制，通过条件化于先前表征的缩放与平移，逐步向中间潜在表征注入噪声。
• 采用新颖的模块内耦合机制，通过并行密集连接与Nyström自注意力，融合局部特征相关性与全局上下文信息。
• 采用递归流框架，每个可逆单元保持双射性，并通过变量变换公式实现精确似然计算。
• 采用类似Glow的架构，结合注意力机制与密集连接的残差式模块，以提升特征表示能力。
• 通过从前置潜在状态导出的仿射变换对噪声注入进行条件化，实现可控且富有表现力的流动态。
• 通过三角形雅可比结构实现可处理的雅可比行列式计算，确保高效似然评估与采样。

实验结果

研究问题

• RQ1 通过逐步向中间潜在表征注入噪声，能否提升归一化流的表达能力？
• RQ2 跨单元耦合（即基于先前表征条件化噪声）如何影响流容量与似然性能？
• RQ3 通过自注意力与密集连接融合局部与全局上下文，能否增强可逆流中的模块内耦合？
• RQ4 在中等计算预算下，通过受控噪声注入增加潜在维度，是否能带来更优的密度估计？
• RQ5 潜在维度在模型深度上的分布如何影响归一化流的整体生成能力？

主要发现

• DenseFlow在ImageNet32与ImageNet64上实现了最先进（SOTA）的似然性能，优于同类计算约束下的先前归一化流模型。
• 所提出的跨单元耦合与噪声预处理机制显著提升了模型表达能力，且未通过传统方式增加深度或宽度。
• 在模块内耦合中融合密集连接与Nyström自注意力，增强了特征表示，实现了更优的似然估计。
• 模型表现出快速收敛与较低的显存占用，表明其环境影响小且具备实际可扩展性。
• 结果表明，潜在维度在深度上的分布（而不仅是总容量）在流表达能力中起着关键作用。
• 该架构支持快速解析反演与精确似然评估，实现高效采样与训练。