[论文解读] Universal approximation property of invertible neural networks

Isao Ishikawa, Takeshi Teshima+4 more|arXiv (Cornell University)|Apr 15, 2022

Model Reduction and Neural Networks被引用 9

一句话总结

本文通过构建基于微分几何的理论框架，建立了可逆神经网络（INNs）的通用近似性质。证明了在温和条件下，基于耦合流的INNs与神经ODE均可近似任意微分同胚，展示了其在可逆性与雅可比行列式可计算性等架构约束下的强大表征能力。

ABSTRACT

Invertible neural networks (INNs) are neural network architectures with invertibility by design. Thanks to their invertibility and the tractability of Jacobian, INNs have various machine learning applications such as probabilistic modeling, generative modeling, and representation learning. However, their attractive properties often come at the cost of restricting the layer designs, which poses a question on their representation power: can we use these models to approximate sufficiently diverse functions? To answer this question, we have developed a general theoretical framework to investigate the representation power of INNs, building on a structure theorem of differential geometry. The framework simplifies the approximation problem of diffeomorphisms, which enables us to show the universal approximation properties of INNs. We apply the framework to two representative classes of INNs, namely Coupling-Flow-based INNs (CF-INNs) and Neural Ordinary Differential Equations (NODEs), and elucidate their high representation power despite the restrictions on their architectures.

研究动机与目标

• 探究尽管存在架构约束，可逆神经网络（INNs）是否能近似广泛类别的函数。
• 解决INNs中表征能力的根本性问题，其受限于可逆性与雅可比行列式计算的可处理性。
• 基于微分几何构建一个通用的理论框架，以分析INNs中微分同胚的近似能力。
• 将该框架应用于两类主流INN架构——基于耦合流的INNs（CF-INNs）与神经ODE（NODEs），以确立其通用近似性质。
• 证明INNs的架构限制在适当条件下并不会限制其表达能力。

提出的方法

• 利用微分几何中的结构定理来表征微分同胚的空间，从而简化对INNs中近似性的分析。
• 将微分同胚的近似问题形式化为光滑可逆映射空间中稠密性的提问。
• 通过分析可逆耦合层的复合及其闭包性质，将该框架应用于基于耦合流的INNs。
• 通过将流建模为具有可学习向量场的ODE的解，将该框架应用于神经ODE。
• 利用光滑嵌入与单位分解理论，证明在适当条件下INNs的集合在微分同胚空间中是稠密的。
• 建立CF-INNs与NODEs在网络深度与宽度足够大时，可任意接近地近似任意微分同胚。

实验结果

研究问题

• RQ1 在容量足够大的前提下，可逆神经网络能否近似任意光滑可逆函数（即微分同胚）？
• RQ2 INNs中的架构约束（如可逆性与雅可比行列式可计算性）在多大程度上限制了其表征能力？
• RQ3 尽管存在结构限制，基于耦合流的INNs与神经ODE是否具备通用近似性质？
• RQ4 是否存在一个通用的理论框架，可统一分析不同INN架构中的近似性？
• RQ5 深度、宽度与激活函数的何种条件是INNs实现通用近似的充分必要条件？

主要发现

• 本文确立了基于耦合流的INNs与神经ODE均具备微分同胚的通用近似性质。
• 基于微分几何时的理论框架，通过将问题简化为光滑可逆映射空间中的稠密性，实现了对INNs中近似性的严格分析。
• 尽管存在可逆性与雅可比行列式可计算性等架构约束，当深度与宽度足够大时，INNs可任意接近地近似任意微分同胚。
• 该框架表明，在耦合函数满足温和条件时，CF-INNs中可逆耦合层的复合在微分同胚空间中是稠密的。
• 对于神经ODE，当ODE的向量场足够表达时（如使用ReLU或ReLU类激活函数），其通用近似性质成立。
• 结果表明，只要网络足够深且足够宽，INNs的架构限制并不会从根本上限制其表达能力。