[論文レビュー] Approximation Capabilities of Neural ODEs and Invertible Residual Networks

Han Zhang, Xi Gao+2 more|arXiv (Cornell University)|Jul 30, 2019

Model Reduction and Neural Networks参考文献 22被引用数 28

ひとこと要約

本稿では、ニューラルODEとi-ResNetsが、元の次元の2倍の次元空間で動作する場合、連続的かつ可逆な関数を普遍近似可能であることを確立している。任意のp次元空間上のホメオモルフィズムは、2p次元空間で動作するニューラルODEまたはi-ResNetによって近似可能であり、1つの線形層を追加することで、非可逆な連続関数の普遍近似可能となることが示された。

ABSTRACT

Neural ODEs and i-ResNet are recently proposed methods for enforcing invertibility of residual neural models. Having a generic technique for constructing invertible models can open new avenues for advances in learning systems, but so far the question of whether Neural ODEs and i-ResNets can model any continuous invertible function remained unresolved. Here, we show that both of these models are limited in their approximation capabilities. We then prove that any homeomorphism on a $p$-dimensional Euclidean space can be approximated by a Neural ODE operating on a $2p$-dimensional Euclidean space, and a similar result for i-ResNets. We conclude by showing that capping a Neural ODE or an i-ResNet with a single linear layer is sufficient to turn the model into a universal approximator for non-invertible continuous functions.

研究の動機と目的

• ニューラルODEとi-ResNetsが連続的かつ可逆な写像を普遍的に近似可能かどうかを検証すること。
• これらのモデルが元の次元空間で一般の可逆関数を近似する際の制限要因を調査すること。
• これらのモデルが可逆および非可逆関数に対して普遍近似を達成するための理論的条件を確立すること。
• CIFAR10における分類タスクと単純な可逆写像を用いて、理論的結果を実証的に検証すること。

提案手法

• 任意のp次元ユークリッド空間上のホメオモルフィズムは、2p次元空間で動作するニューラルODEによって近似可能であることを証明する。
• リーマン距離を用いたLipschitz定数が1未塔の残差ブロックを用いたi-ResNetsについても、2p次元空間で同様の普遍近似結果を示す。
• 入力にヌルチャネルを追加することで次元をpからq ≥ 2pに拡張する次元拡張技術を導入する。
• i-ResNetにおけるLipschitz連続性を保証するため、スペクトル正規化を用い、各残差ブロックのLipschitz定数を1未塔に抑える。
• 初期値問題の解として連続的なODE形式を採用する：$ x_T = x_0 + \int_0^T f_\Theta(x_t, t) dt $、ここで$ f_\Theta $は学習可能な関数。
• CIFAR10を用いたODE-Netsとi-ResNetsの実験を通じて、入力次元とネットワーク容量を変化させながら結果を検証する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルODEは、p次元空間上の任意の連続的かつ可逆関数を普遍的に近似可能か？
• RQ2 i-ResNetsは、p次元空間上の任意の連続的かつ可逆関数を普遍的に近似可能か？
• RQ3 ニューラルODEとi-ResNetsが可逆写像を普遍的に近似可能となる最小次元（例：2p）は存在するか？
• RQ4 ニューラルODEまたはi-ResNetに1つの線形層を追加することで、非可逆な連続関数の普遍近似が可能になるか？
• RQ5 実験的結果は、ODE-Netsとi-ResNetsにおける普遍近似の理論的閾値q = 2pを確認できるか？

主な発見

• 任意のp次元ユークリッド空間上のホメオモルフィズムは、2p次元空間で動作するニューラルODEによって近似可能である。
• i-ResNetsについても、2p次元空間で動作する場合、同様に普遍近似可能である。
• 1次元のi-ResNetでは、$ x \to -x $の写像を学習できないが、小さな正の$ c $を用いた$ x \to cx $に近似するにとどまり、理論的限界を裏付ける。
• ヌル次元を1つ追加したi-ResNetは、$ x \to -x $の写像を、テストMSEが$ 10^{-10} $未塔の精度で正しく学習でき、2p次元空間の理論が妥当であることを実証した。
• CIFAR10におけるODE-Netの実験では、$ 2p $を超える次元（すなわち$ d > 3 $）を追加すると、十分な容量（$ k \geq 64 $フィルタ）を持つネットワークでは、損失の低下が統計的に有意に遅延する。
• 両側検定のマン・ホイットニーU検定により、$ 2p $を超えた以降の損失トレンドの変化は有意であった（$ p = 0.002 $）、理論的閾値の妥当性を支持する。