[论文解读] Block Neural Autoregressive Flow

Nicola De Cao, Ivan Titov+1 more|arXiv (Cornell University)|Apr 9, 2019

Gaussian Processes and Bayesian Inference参考文献 30被引用 22

一句话总结

本文提出块神经自回归流（B-NAF），一种紧凑的归一化流模型，通过使用分块结构的权重矩阵直接参数化可逆的自回归变换，以确保严格单调性和可逆性，且无需额外的条件网络。B-NAF 在参数量比现有通用近似器（如 NAF 和 Sylvester 流）少多个数量级的情况下，实现了最先进的密度估计与变分推断性能。

ABSTRACT

Normalising flows (NFS) map two density functions via a differentiable bijection whose Jacobian determinant can be computed efficiently. Recently, as an alternative to hand-crafted bijections, Huang et al. (2018) proposed neural autoregressive flow (NAF) which is a universal approximator for density functions. Their flow is a neural network (NN) whose parameters are predicted by another NN. The latter grows quadratically with the size of the former and thus an efficient technique for parametrization is needed. We propose block neural autoregressive flow (B-NAF), a much more compact universal approximator of density functions, where we model a bijection directly using a single feed-forward network. Invertibility is ensured by carefully designing each affine transformation with block matrices that make the flow autoregressive and (strictly) monotone. We compare B-NAF to NAF and other established flows on density estimation and approximate inference for latent variable models. Our proposed flow is competitive across datasets while using orders of magnitude fewer parameters.

研究动机与目标

• 为解决神经自回归流（NAFs）的高参数成本问题，其需要随流宽度呈二次方增长的大规模条件网络。
• 开发一种更紧凑的通用密度函数近似器，同时保持可逆性和高效的雅可比行列式计算。
• 通过直接设计一种使用分块矩阵的前馈网络，强制实现自回归与单调行为，从而消除对独立条件网络的需求。
• 在显著减少模型大小和内存占用的前提下，实现与现有方法相当的密度估计与变分推断性能。
• 通过最小化可训练参数数量，同时保持表达能力，实现深度潜在变量模型中高效的摊销推断。

提出的方法

• 设计一种前馈神经网络，其中权重矩阵被划分为分块矩阵，以确保未来变量的梯度为零，从而保证自回归结构。
• 通过约束每个分块使得 ∂y_i/∂x_i > 0，强制实现严格单调性，从而在无需条件网络的情况下保证可逆性。
• 使用单一共享的变换网络来参数化流，取代 NAF 中的超网络范式，从而减少参数数量。
• 在每个流块后对变量进行置换，以允许对所有维度之间的复杂依赖关系进行建模。
• 将流构建为此类块的复合结构，通过可 tractable 的雅可比行列式计算实现实现高效的密度评估与采样。
• 通过仅预测每层的偏置和两个缩放向量，而非完整的权重矩阵，实现流参数的摊销，从而在变分推断中提升内存效率。

实验结果

研究问题

• RQ1 能否设计一种不依赖大型条件网络的归一化流，使其成为通用近似器？
• RQ2 是否可能通过一种紧凑且直接参数化的流，使用极少的可训练参数，实现密度建模中的通用近似？
• RQ3 与 NAF 及其他成熟流模型相比，一种直接强制实现自回归与单调结构的流在性能与效率方面表现如何？
• RQ4 此类流是否能在大幅减少可训练参数数量的同时，保持在摊销变分推断中的强性能？
• RQ5 消除条件网络是否能带来更高效、更具可扩展性的架构，适用于深度生成模型？

主要发现

• B-NAF 在 MNIST、Freyfaces、Omniglot 和 Caltech 101 轮廓数据集上实现了具有竞争力的对数似然性能，优于所有数据集上的标准 VAE、平面流和 IAF。
• 尽管仅使用 8 个流和 4 维隐藏单元，B-NAF 的性能仍与 van den Berg 等人（2018）提出的 16 个流的模型（如 Sylvester 流）相当或更优。
• 与正交和 Householder 参数化的 Sylvester 流相比，B-NAF 分别减少了 6.16× 和 9.35× 的可训练参数。
• 与 IAF 相比，B-NAF 减少了 14.45× 的参数，表明 IAF 在相同任务中显著过参数化。
• 该模型在仅使用每数据点 7.7k 个参数的情况下，实现了强大的摊销变分推断性能，远低于全摊销 Sylvester 流的 50.7k–76.8k 个参数。
• 由于无需条件网络，该模型实现了更高效的内存架构，使其适用于具有高容量解码器的大规模深度生成模型。