[论文解读] Approximation Capabilities of Neural ODEs and Invertible Residual Networks

Han Zhang, Xi Gao+2 more|arXiv (Cornell University)|Jul 30, 2019

Model Reduction and Neural Networks参考文献 22被引用 28

一句话总结

本文证明，当在原始维度两倍的维度空间中运行时，Neural ODEs 和 i-ResNets 均可作为连续可逆函数的通用逼近器。研究证明，任意在 p 维空间上的同胚映射均可通过在 2p 维空间中运行的 Neural ODE 或 i-ResNet 进行逼近，且添加一个线性层可使其成为非可逆连续函数的通用逼近器。

ABSTRACT

Neural ODEs and i-ResNet are recently proposed methods for enforcing invertibility of residual neural models. Having a generic technique for constructing invertible models can open new avenues for advances in learning systems, but so far the question of whether Neural ODEs and i-ResNets can model any continuous invertible function remained unresolved. Here, we show that both of these models are limited in their approximation capabilities. We then prove that any homeomorphism on a $p$-dimensional Euclidean space can be approximated by a Neural ODE operating on a $2p$-dimensional Euclidean space, and a similar result for i-ResNets. We conclude by showing that capping a Neural ODE or an i-ResNet with a single linear layer is sufficient to turn the model into a universal approximator for non-invertible continuous functions.

研究动机与目标

• 确定 Neural ODEs 和 i-ResNets 是否可通用逼近连续可逆映射。
• 研究这些模型在其原始维度下逼近一般可逆函数的局限性。
• 建立这些模型在可逆与不可逆函数上实现通用逼近的理论条件。
• 通过 CIFAR10 分类任务和简单可逆映射的实验，对理论发现进行实证验证。

提出的方法

• 证明任意在 p 维欧氏空间上的同胚映射均可通过在 2p 维空间中运行的 Neural ODE 进行逼近。
• 通过使用利普希茨常数小于 1 的残差块，在 2p 维空间中证明 i-ResNets 具有类似的通用逼近结果。
• 通过向输入添加零通道，引入维度扩展技术，将环境空间从 p 扩展至 q ≥ 2p。
• 在 i-ResNet 中使用谱归一化，以确保利普希茨常数低于 1，从而保证每个残差块的可逆性。
• 通过求解初值问题的连续 ODE 公式化：$ x_T = x_0 + \int_0^T f_\Theta(x_t, t) dt $，其中 $ f_\Theta $ 可训练。
• 通过 CIFAR10 实验，使用 ODE-Nets 和 i-ResNets，改变输入维度和网络容量，对结果进行实证验证。

实验结果

研究问题

• RQ1 Neural ODEs 是否可通用逼近 p 维空间上任意连续可逆函数？
• RQ2 i-ResNets 是否可通用逼近 p 维空间上任意连续可逆函数？
• RQ3 是否存在一个最小维度（如 2p），使得 Neural ODEs 和 i-ResNets 在此维度以上可通用逼近可逆映射？
• RQ4 在 Neural ODE 或 i-ResNet 中添加一个线性层，是否可实现对不可逆连续函数的通用逼近？
• RQ5 实证结果是否能确认 ODE-Nets 和 i-ResNets 在 q = 2p 处存在理论上的通用逼近阈值？

主要发现

• 任意在 p 维欧氏空间上的同胚映射均可通过在 2p 维空间中运行的 Neural ODE 进行逼近。
• 当在 2p 维空间中运行时，i-ResNets 同样具有类似的通用逼近结果。
• 对于一维 i-ResNet，该模型无法学习 $ x \to -x $ 映射，仅能实现 $ x \to cx $（c 为小的正数），证实了理论上的局限性。
• 当增加一个额外的零维通道后，i-ResNet 能够成功学习 $ x \to -x $ 映射，测试均方误差低于 $ 10^{-10} $，验证了 2p 维空间理论。
• 在 CIFAR10 的 ODE-Net 实验中，当维度超过 $ 2p $（即 $ d > 3 $）时，对于具有足够容量（$ k \geq 64 $ 个滤波器）的网络，损失减少速度出现统计上显著的下降。
• 双尾 Mann-Whitney U 检验确认，损失趋势在 $ 2p $ 之后的变化具有显著性（$ p = 0.002 $），支持了理论阈值的存在。