[论文解读] Masked Autoregressive Flow for Density Estimation

George Papamakarios, Theo Pavlakou+1 more|arXiv (Cornell University)|May 19, 2017

Model Reduction and Neural Networks参考文献 36被引用 202

一句话总结

MAF 引入了一系列掩码自回归模型，形成用于密度估计的灵活且可解析的标准化流，在若干数据集上达到最先进的结果，并超过 RealNVP。

ABSTRACT

Autoregressive models are among the best performing neural density estimators. We describe an approach for increasing the flexibility of an autoregressive model, based on modelling the random numbers that the model uses internally when generating data. By constructing a stack of autoregressive models, each modelling the random numbers of the next model in the stack, we obtain a type of normalizing flow suitable for density estimation, which we call Masked Autoregressive Flow. This type of flow is closely related to Inverse Autoregressive Flow and is a generalization of Real NVP. Masked Autoregressive Flow achieves state-of-the-art performance in a range of general-purpose density estimation tasks.

研究动机与目标

• 让神经密度估计器具备灵活性与可精准密度评估的可行性。
• 通过掩码堆叠自回归模型来提出更深层的标准化流（MAF）。
• 展示 MAF、Inverse Autoregressive Flow (IAF) 与 Real NVP 的理论联系。
• 在多样的密度估计任务中评估 MAF 相对于 Real NVP 与 MADE 变体。
• 展示条件密度估计的扩展以及实际实现。

提出的方法

• 用带掩码的 MADE 参数化的高斯条件，基于自回归条件建模 p(x)。
• 堆叠多个自回归层，使一层的随机数驱动下一层（MAF 作为流）。
• 通过基于 MADE 的掩码在一个前向传播中计算精确密度，实现并行评估。
• 将 MAF 与 IAF 和 Real NVP 关联起来，以阐明计算权衡与理论联系。
• 通过以旁信息对输入进行扩充并分层条件地堆叠 MADE，引入条件 MAF。

实验结果

研究问题

• RQ1 堆叠自回归模型作为流如何在密度估计方面超越单一自回归模型？
• RQ2 在密度估计和采样方面，MAF 与 IAF 的计算权衡是什么？
• RQ3 MAF 相对于 Real NVP 与 MADE 变体在标准密度估计基准上表现如何？
• RQ4 MAF 是否可以有效扩展到条件密度估计？

主要发现

Dataset	Gaussian	MADE	MADE MoG	Real NVP (5)	Real NVP (10)	MAF (5)	MAF (10)	MAF MoG (5)
POWER	-7.74 ± 0.02	-3.08 ± 0.03	0.40 ± 0.01	-0.02 ± 0.01	0.17 ± 0.01	0.14 ± 0.01	0.24 ± 0.01	0.30 ± 0.01
GAS	0.02 ± 0.00	3.56 ± 0.04	8.47 ± 0.02	4.78 ± 1.80	8.33 ± 0.14	9.07 ± 0.02	10.08 ± 0.02	9.59 ± 0.02
HEPMASS	-3.58 ± 0.02	-20.98 ± 0.02	-15.15 ± 0.02	-19.62 ± 0.02	-17.70 ± 0.02	-17.39 ± 0.02	-17.73 ± 0.02	-17.39 ± 0.02
MINIBOONE	-37.24 ± 1.07	-15.59 ± 0.50	-12.27 ± 0.47	-13.55 ± 0.49	-11.75 ± 0.44	-11.68 ± 0.44	-12.24 ± 0.45	-11.68 ± 0.44
BSDS300	96.67 ± 0.25	148.85 ± 0.28	153.71 ± 0.28	152.97 ± 0.28	153.28 ± 1.78	155.69 ± 0.28	154.93 ± 0.28	156.36 ± 0.28

• MAF 在无条件密度估计的多数据集上优于 Real NVP。
• MAF 的变体（包括 MAF MoG）在 UCI 数据集和 BSDS300 图像补丁上取得了最先进或具有竞争力的结果。
• MAF 提供了一次通过评估 x 的强密度估计，而采样在 D 层上仍然是顺序的，与 IAF 相对照。
• MAF MoG (5) 在 BSDS300 的单模型中取得了最好的已报道结果（156.36 nats）。
• 条件 MAF 相较于若干基线在 MNIST 和 CIFAR-10 上改善了密度估计，MADE MoG 往往表现出色。
• 在数据集（POWER、GAS、HEPMASS、MINIBOONE、BSDS300）上，MAF 及其变体在无条件设置中通常优于 Real NVP。