[論文レビュー] Universal Approximation Property of Neural Ordinary Differential Equations

Takeshi Teshima, Koichi Tojo+3 more|arXiv (Cornell University)|Dec 4, 2020

Model Reduction and Neural Networks参考文献 14被引用数 20

ひとこと要約

この論文は、ニューラル常微分方程式（NODEs）が、以前に知られていたよりも強い普遍近似性を持つことを確立している：すなわち、滑らかで逆写像も滑らかな微分同相写像の広いクラスに対して、『上界における普遍近似性』（sup-universal approximation）を有する。微分幾何学の構造定理を活用することで、著者らは任意のこのような微分同相写像が、NODEsによって生成されるフロー終点の合成によって近似可能であることを示し、入力領域のコンパクト部分集合上で一様近似が保証されることを示している。これは、$L^p$-普遍近似性よりもより強固な保証を提供する。

ABSTRACT

Neural ordinary differential equations (NODEs) is an invertible neural network architecture promising for its free-form Jacobian and the availability of a tractable Jacobian determinant estimator. Recently, the representation power of NODEs has been partly uncovered: they form an $L^p$-universal approximator for continuous maps under certain conditions. However, the $L^p$-universality may fail to guarantee an approximation for the entire input domain as it may still hold even if the approximator largely differs from the target function on a small region of the input space. To further uncover the potential of NODEs, we show their stronger approximation property, namely the $\sup$-universality for approximating a large class of diffeomorphisms. It is shown by leveraging a structure theorem of the diffeomorphism group, and the result complements the existing literature by establishing a fairly large set of mappings that NODEs can approximate with a stronger guarantee.

研究の動機と目的

• $L^p$-普遍近似性の限界を是正するため、入力領域の小さな領域で大きな誤差が生じる可能性があるという問題を解決すること。
• ニューラルODEが滑らかな可逆写像を近似する際、より強い近似保証（上界における普遍近似性）を確立すること。
• 広いクラスの微分同相写像が、NODEsによって生成されるフローエンドポイントの合成によって一様に近似可能であることを示すこと。
• NODEsの表現力の理論的基盤を、自由形式のヤコビアンを有する可逆ニューラルネットワークとして提供すること。

提案手法

• 著者らは微分幾何学の構造定理を用いて、任意の微分同相写像を、恒等写像の滑らかな変形であるフローエンドポイントの有限合成に分解する。
• NODEsを、Lipschitzベクトル場を持つ非自励ODEを解くことで生成されるフローエンドポイントとして定義し、初期状態を時間1経過後の状態に写像するIVP作用素を用いる。
• この手法では、合成内の各個別のフローエンドポイントをNODEsで近似し、このようなフローエンドポイントの空間におけるNODEsによって生成される写像の稠密性を活用する。
• これらの近似されたフローエンドポイントを合成し、アフィン変換を適用することで、得られるネットワークアーキテクチャ（INN$_{\mathcal{H}\text{-NODE}}$）が、目的の微分同相写像を一様（上ノルム）に近似可能である。
• 証明は、合成およびアフィン層を通じた誤差伝搬を制御するための作用素ノルムに依存しており、コンパクト集合上で一様収束を保証する。
• 著者らは、ODEフローの終端時刻をスケーリングしても、達成可能なフローエンドポイントの集合が変化しないことを示し、近似フレームワークを保存することが可能である。

実験結果

リサーチクエスチョン

• RQ1 ニューラルODEは、$L^p$-ノルムではなく、広いクラスの微分同相写像を一様に近似可能か？
• RQ2 NODEsの表現力は、近似保証の観点から$L^p$-普遍近似性を上回る強さを持つのか？
• RQ3 任意の微分同相写像を、NODEsによって生成されるフローエンドポイントの有限合成として表現可能か？
• RQ4 上界における普遍近似性は、$d \geq 2$ および $d = 1$ の両方の次元で成り立つか？
• RQ5 ノルムの選択（$\sup$ と $L^p$）は、ニューラルODEにおける近似のロバストネスにどのように影響するか？

主な発見

• ニューラルODEは、入力領域のコンパクト部分集合上で任意の写像を一様に近似可能であるため、広いクラスの微分同相写像に対して上界における普遍近似性（sup-universal approximation）を有する。
• 上界における普遍近似性は、$L^p$-普遍近似性よりも強い。これは、入力領域全体にわたる一様な誤差境界を保証するが、平均的または積分的な意味での保証にとどまらないためである。
• 証明は、微分同相写像を有限個のフローエンドポイントに分解し、それぞれがNODEsによって近似可能であることに依存する。
• 合成に含まれるNODEコンポーネントを十分に多く、かつ適切に調整することで、上ノルムにおける近似誤差を任意に小さくできる。
• この結果は、$d \geq 2$ および $d = 1$ の両方の次元で成り立ち、誤差境界はアフィン変換の作用素ノルムによって制御される。
• フレームワークは、ODEの終端時刻のスケーリングに対してロバストであり、このようなスケーリングによって達成可能なフローエンドポイントの集合は変化しない。