[论文解读] MintNet: Building Invertible Neural Networks with Masked Convolutions

Yang Song, Chenlin Meng+1 more|arXiv (Cornell University)|Jul 18, 2019

Neural Networks and Applications参考文献 27被引用 11

一句话总结

MintNet 提出了一种新颖的框架，通过使用掩码卷积和一组组合规则构建可逆神经网络，确保可逆性并实现高效的雅可比行列式计算。该方法通过定点迭代实现快速、可并行化的反演，在 MNIST、CIFAR-10 和 ImageNet 32×32 上分别实现了 0.98、3.32 和 4.06 比特/维度的生成性能，优于以往模型，且参数量更少、计算资源消耗更低。

ABSTRACT

We propose a new way of constructing invertible neural networks by combining simple building blocks with a novel set of composition rules. This leads to a rich set of invertible architectures, including those similar to ResNets. Inversion is achieved with a locally convergent iterative procedure that is parallelizable and very fast in practice. Additionally, the determinant of the Jacobian can be computed analytically and efficiently, enabling their generative use as flow models. To demonstrate their flexibility, we show that our invertible neural networks are competitive with ResNets on MNIST and CIFAR-10 classification. When trained as generative models, our invertible networks achieve competitive likelihoods on MNIST, CIFAR-10 and ImageNet 32x32, with bits per dimension of 0.98, 3.32 and 4.06 respectively.

研究动机与目标

• 开发一种适用于判别与生成任务的灵活、高效且可逆的神经网络架构。
• 为基于流的生成模型实现精确且高效的雅可比行列式计算。
• 设计一种数值稳定且可并行化的反演方法，其计算成本与标准 ResNet 块相当。
• 构建一个深层可逆网络，使其在图像分类与密度估计任务上的性能达到或超过现有模型。
• 在保持或提升标准基准上似然性能的同时，降低模型复杂度与训练资源需求。

提出的方法

• 该方法以三角形雅可比矩阵作为基础构建可逆模块，确保高效的行列式计算。
• 一组组合规则递归地将基本的三角形模块组合为更复杂的非线性可逆模块，只要雅可比矩阵非奇异，即可保持可逆性。
• 掩码卷积作为基本构建块，施加约束以满足组合规则的可逆性条件。
• 通过局部收敛且可并行化的定点迭代（算法 1）计算反演，具有理论收敛保证。
• 架构遵循 ResNet 风格的模块，通过堆叠多个 'Mint 层' 构建深层可逆网络（MintNet）。
• 由于雅可比矩阵的三角形结构，雅可比行列式可被解析且高效地计算。

实验结果

研究问题

• RQ1 我们能否构建一个既灵活又高效可逆的可逆神经网络家族？
• RQ2 我们能否在深层架构中实现精确且高效的雅可比行列式计算，而无需近似？
• RQ3 我们能否设计一种数值稳定且可并行化的反演方法，其计算成本与标准 ResNet 块相当？
• RQ4 此类网络能否在图像分类与基于流的生成建模中均实现 SOTA 性能？
• RQ5 我们能否在保持或提升标准基准上似然性能的同时，减少模型参数量与训练计算资源？

主要发现

• MintNet 在 MNIST 上达到 99.6% 的准确率，在 CIFAR-10 上达到 91.2%，与具有相似架构的 ResNets 表现相当或接近。
• 在生成建模方面，MintNet 在 MNIST 上实现 0.98 比特/维度，CIFAR-10 上为 3.32，ImageNet 32×32 上为 4.06，创下新的 SOTA 结果。
• MNIST 模型参数量比 FFJORD 少 30%，CIFAR-10 和 ImageNet 模型分别比 Glow 少 60% 和 74%。
• 在 CIFAR-10 上训练仅需 2 块 GPU，耗时约 5 天，而 FFJORD 需 6 块，Glow 需 8 块，显示出显著的效率提升。
• 与自回归模型相比，MintNet 的采样速度在 MNIST 上快约 5 倍，在 CIFAR-10 和 ImageNet 32×32 上快约 25 倍。
• 重建误差在 120 次迭代内收敛，重建图像在视觉上与真实图像无法区分，证实了反演过程的有效性。