[論文レビュー] A Survey on Universal Approximation Theorems

Midhun T. Augustine|arXiv (Cornell University)|Jul 17, 2024

Approximation Theory and Sequence Spaces被引用数 6

ひとこと要約

この調査はフィードフォワード型ニューラルネットワークの普遍近似定理（UAT）をレビューし、任意の幅と任意の深さの結果の両方を扱い、古典的な関数近似結果とNNの表現力を結びつける。

ABSTRACT

This paper discusses various theorems on the approximation capabilities of neural networks (NNs), which are known as universal approximation theorems (UATs). The paper gives a systematic overview of UATs starting from the preliminary results on function approximation, such as Taylor's theorem, Fourier's theorem, Weierstrass approximation theorem, Kolmogorov - Arnold representation theorem, etc. Theoretical and numerical aspects of UATs are covered from both arbitrary width and depth.

研究の動機と目的

• ニューラルネットワークに関連する関数近似の歴史的・数学的基盤を説明する。
• 任意の幅および任意の深さのフィードフォワードNNに対するUATを系統的に調査する。
• 異なる活性化関数が普遍近接特性に与える影響を説明する。
• 普遍近似のための最小幅と最小深さの要件を論じる。
• さらなる読書のための指針と実務上の意味づけ、参考文献を提供する。

提案手法

• 基礎的な文脈として、古典的な近似結果（Taylor、Fourier、Weierstrass、Kolmogorov–Arnold）をレビューする。
• 任意の幅に対するUATを提示する：シグモイド/非多項的活性化を持つ単一隠れ層ネットワークによる連続関数の密な近似。
• 任意の深さに対するUATを提示する：深さと幅の関係を分析し、深層ネットワークが任意の関数を近似する能力を検討する。
• 最小幅の結果（例: 幅 n+4 および幅 max{n+1,m} が充分であるという結果）とそれらの含意について論じる。
• 実用的な表現力を示すために、ReLUネットワークと区分線形近似の例を用いて説明する。

Figure 1: (a) Neural Network (b) Neuron.

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークの普遍近似を支える主要な歴史的・数学的結果は何か。
• RQ2 どのような条件（幅・深さ・活性化関数）下で、フィードフォワードNNはコンパクト集合上の任意の連続関数を近似できるか。
• RQ3 さまざまな設定における普遍近似の最小幅と最小深さの要件は何か。
• RQ4 活性化関数（sigmoid、ReLU、非多項式）がUATの記述にどのように影響するか。
• RQ5 普遍近似の達成における幅と深さの実践的影響は何か。

主な発見

• sigmoidまたは非多項的活性化を用いた一つの隠れ層を持つ浅いネットワークは、コンパクト集合上の連続関数を密に近似できる。
• 適切な活性化関数の下で、深さが任意で幅が有界な深層ネットワーク、またはその逆の組み合わせは普遍近似能力を示す。
• 普遍近近似に必要な最小幅は1より大きい、結果として幅 n+4 およびその後の幅 max{n+1,m} がさまざまな設定で十分であることが示される。
• ReLUネットワークは幅が ≤ n の場合に幅に関連する制約を持つが、これらの閾値を超える幅では多くの関数クラスに対して普遍近似を達成する。
• 古典的な結果（Taylor、Fourier、Weierstrass、Kolmogorov–Arnold）はNNの近似能力の理論的基盤を支え、UATの証明と結びつく。
• 畳み込み、残差、再帰、トランスフォーマーアーキテクチャへの拡張は、将来の方向性または別個の文献として議論されている。

Figure 2: Graph of activation functions: (a) ReLU (b) Step (c) Logistic (d) Tanh.