[論文レビュー] Arbitrary-Depth Universal Approximation Theorems for Operator Neural Networks

Annan Yu, Chloé Becquey+3 more|arXiv (Cornell University)|Sep 23, 2021

Neural Networks and Applications参考文献 14被引用数 5

ひとこと要約

この論文は、深く狭い作用素ニューラルネットワーク（作用素NN）における、初めての普遍近似定理を確立し、非多項式または非アフィン多項式活性化関数を備えた幅5の作用素NNが、任意の連続的非線形作用素を普遍的に近似できることを証明している。手法は入力の切り捨てと深さ依存のデコーダーネットワークを用い、複数の入力を1つの値に符号化することで、任意の深さで幅一定の近似を可能にしている。

ABSTRACT

The standard Universal Approximation Theorem for operator neural networks (NNs) holds for arbitrary width and bounded depth. Here, we prove that operator NNs of bounded width and arbitrary depth are universal approximators for continuous nonlinear operators. In our main result, we prove that for non-polynomial activation functions that are continuously differentiable at a point with a nonzero derivative, one can construct an operator NN of width five, whose inputs are real numbers with finite decimal representations, that is arbitrarily close to any given continuous nonlinear operator. We derive an analogous result for non-affine polynomial activation functions. We also show that depth has theoretical advantages by constructing operator ReLU NNs of depth $2k^3+8$ and constant width that cannot be well-approximated by any operator ReLU NN of depth $k$, unless its width is exponential in $k$.

研究の動機と目的

• 幅が有界で深さが任意の作用素ニューラルネットワークの普遍近似定理を確立し、既存理論におけるギャップを埋める。
• 浅く広いネットワークが指数的幅を要するのに対し、深く狭い作用素NNが普遍近似を達成できることを示す。
• 深さによる理論的優位性を示し、浅いネットワークでは指数的幅増加を伴わずに近似できない作用素NNの構築を行う。
• 通常のUATでは除外されがちな非アフィン多項式活性化関数への普遍近似の拡張。
• 入力符号化と切り捨てを用いることで、最小幅のネットワークによる連続的非線形作用素の近似フレームワークを提供。

提案手法

• 目標精度εに基づき、実数入力を有限小数表現に切り捨てて、1つのスカラ値に符号化可能にする。
• 深さに依存するデコーダーネットワークを用い、符号化されたスカラから個々の切り捨てられた入力を抽出する。この抽出は任意に深いReLUネットワークにより近似される。
• 1つのニューロンが符号化された入力を伝搬させ、追加のニューロンがデコーディングと計算を担当する幅5の作用素NNを構築する。
• 符号化された関数空間に対して標準的な順方向ネットワークの普遍近似定理を適用し、コンact集合上で一様近似を保証する。
• ある点で連続的に微分可能で非ゼロの導関数を持つ活性化関数の密度性特性を活用し、近似能力を保証する。
• 2階微分条件を用いて非アフィン多項式活性化関数への拡張を図り、最小幅で効果的なデコーディングを可能にする。

実験結果

リサーチクエスチョン

• RQ1 幅が有界で深さが任意の作用素ニューラルネットワークは、連続的非線形作用素を普遍的に近似できるか？
• RQ2 幅の最小値は、広範な活性化関数のクラスに対して、深く作用素NNが普遍近似を達成するために必要か？
• RQ3 浅く広いネットワークと比較して、深さが特定の作用素を近似する際に理論的優位性を示す仕組みは何か？
• RQ4 非アフィン多項式活性化関数は、浅いアーキテクチャに制限があるにもかかわらず、作用素ネットワークの普遍近似に使用可能か？
• RQ5 入力符号化と切り捨ては、作用素ニューラルネットワーク設計における幅要件をどの程度低減できるか？

主な発見

• ある点で連続的微分可能で非ゼロの導関数を持つ非多項式活性化関数を備えた幅5の作用素ニューラルネットワークは、任意の連続的非線形作用素を任意の誤差ε内に一様近似可能である。
• 非アフィン多項式活性化関数の場合、幅6の作用素NNで十分に普遍近似が可能であり、2階微分条件を満たす場合には幅5の構成も可能である。
• 深さ$2k^3 + 8$、定数幅の作用素ReLUネットワークは、深さ$k$の任意の作用素ReLUネットワークでは、幅が$k$に関して指数的増加しない限り、良好に近似できない。これは深さによる理論的優位性を示している。
• 入力符号化と切り捨て戦略により、複数の入力を1つのスカラに還元し、深さの大きなサブネットワークによるデコーディングで、幅一定の近似が可能である。
• 近似に必要なサンプリング点数$m$は活性化関数に依存せず、目標精度と作用素の連続性にのみ依存する。
• フレームワークは、従来の普遍近似定理を拡張し、幅と深さのトレードオフを深さにシフトさせた。深さそのものが最小幅で普遍近似を可能にすることを証明した。