[论文解读] Coupling-based Invertible Neural Networks Are Universal Diffeomorphism Approximators

Takeshi Teshima, Isao Ishikawa+4 more|arXiv (Cornell University)|Jun 20, 2020

Neural Networks and Applications参考文献 30被引用 42

一句话总结

本文证明耦合流可逆神经网络（CF-INNs）是通用微分同胚近似器，显示仿射耦合对广泛的通用性足够，并建立通用性类别的等价性。

ABSTRACT

Invertible neural networks based on coupling flows (CF-INNs) have various machine learning applications such as image synthesis and representation learning. However, their desirable characteristics such as analytic invertibility come at the cost of restricting the functional forms. This poses a question on their representation power: are CF-INNs universal approximators for invertible functions? Without a universality, there could be a well-behaved invertible transformation that the CF-INN can never approximate, hence it would render the model class unreliable. We answer this question by showing a convenient criterion: a CF-INN is universal if its layers contain affine coupling and invertible linear functions as special cases. As its corollary, we can affirmatively resolve a previously unsolved problem: whether normalizing flow models based on affine coupling can be universal distributional approximators. In the course of proving the universality, we prove a general theorem to show the equivalence of the universality for certain diffeomorphism classes, a theoretical insight that is of interest by itself.

研究动机与目标

• 用严格的通用性框架评估 CF-INN 对可逆变换的表示能力。
• 开发一个基于层设计来判断 CF-INN 是否具备通用性的标准。
• 证明含有仿射耦合的流（ACFs）支撑对广泛类的微分同胚的通用近似。
• 解决关于仿射耦合 CF-INN 的分布通用性的未解问题。

提出的方法

• 引入 CF-INN 架构并定义耦合流和仿射耦合流。
• 使用基于微分几何的约简建立不同微分同胚类别之间的通用近似性质等价性。
• 通过化简至更简单的坐标变换，证明含仿射耦合的 CF-INN 的 Lp-与 sup-通用性结果。
• 证明当 H-ACF 具备表达能力强的 H 时，可以为 S^0_c 提供 Lp-通用近似，从而通过等价定理扩展到 D^2。
• 推导推论，将通用性与 CF-INN 的分布通用性联系起来。

实验结果

研究问题

• RQ1 CF-INN 是否能够在广泛的微分同胚类别中实现通用近似，以及需要怎样的层设计？
• RQ2 在 CF-NN 架构中嵌入仿射耦合是否能保证对 D^2 微分同胚的通用性？
• RQ3 CF-INN 架构中不同通用性概念（Lp、sup、分布式）之间的关系是什么？

主要发现

• 当其层包含仿射耦合且可逆线性函数作为特例时，CF-INNs 是通用微分同胚近似器。
• 等价性定理表明对 D^2、T^∞、和 S^∞_c 的通用性成立，可将问题化简为更简单的逐坐标问题。
• 由 H-ACF 层构建的 INN_G 是 S^0_c 的 Lp-通用近似器，因此通过等价结果对 D^2 也成立。
• 本研究作为 Lp/通用性结果的推论，确认了仿射耦合 CF-INN 的分布通用性。
• 现有结构如 DSF 和 SoS 被包含在所证明的框架内，继承它们的分布通用性，在某些情况下，还具备 sup-通用性。