[論文レビュー] Universal Approximation Theorem for Neural Networks

Takato Nishijima|arXiv (Cornell University)|Feb 19, 2021

Neural Networks and Applications参考文献 27被引用数 9

ひとこと要約

この論文は、フィードフォワードニューラルネットワークにおける普遍近似定理について包括的な理論的分析を提供し、滑らかな条件下で、このようなネットワークがコンパクト集合上で任意の連続関数を密に近似できることを確立している。さらに、近似速度を検討し、ネットワーク幅と活性化関数の性質に基づいて近似誤差を定量化する枠組みとしてバロン空間を導入している。

ABSTRACT

Is there any theoretical guarantee for the approximation ability of neural networks? The answer to this question is the "Universal Approximation Theorem for Neural Networks". This theorem states that a neural network is dense in a certain function space under an appropriate setting. This paper is a comprehensive explanation of the universal approximation theorem for feedforward neural networks, its approximation rate problem (the relation between the number of intermediate units and the approximation error), and Barron space in Japanese.

研究の動機と目的

• フィードフォワードニューラルネットワークの普遍近似定理を、関数近似の文脈で厳密かつ統一的に説明すること。
• 隠れユニット数と近似誤差の関係を調査し、近似速度問題を扱うこと。
• バロン空間を導入し、ニューラルネットワークの近似誤差を特徴付ける関数空間として分析すること。
• $L^p$ 空間および多層・多出力ネットワークへの普遍近似結果の拡張すること。
• 歴史的発展および基礎的な定理（サイベンコ、ホルニク、レシュノら、バロンのもの含む）を明確にすること。

提案手法

• コンパクトな $K \subset \mathbb{R}^r$ に対して、$C(K)$ におけるニューラルネットワーク関数の稠密性を示すために、Stone-Weierstrass 定理と Hahn-Banach 拡張定理を用いる。
• 連続関数上の線形汎関数とボレル測度との関係を確立するため、Riesz-Markov-Kakutani 表現定理を適用する。
• $L^p$ 空間およびソボレフ空間における近似を確立するため、畳み込みおよび段階関数による近似を用いる。
• リッジ関数の概念を導入し、その基本的性質を用いて線形結合による普遍近似を証明する。
• ジャクソン型不等式および $L^p$-ノルム推定を用いて、ソボレフ空間およびバロン空間における明示的な近似速度を導出する。
• バロン空間の概念を用いて、$L^1$ で有界なフーリエ変換を持つ関数を特徴付け、ネットワーク幅および活性化関数の滑らかさに基づいた誤差バウンドを可能にする。

実験結果

リサーチクエスチョン

• RQ1 単一の隠れ層を持つフィードフォワードニューラルネットワークが、コンパクト集合上で任意の連続関数を任意の精度で近似できる条件は何か？
• RQ2 近似誤差はネットワーク内の隠れユニット数にどのように依存するか？
• RQ3 活性化関数の性質（例：多項式でない、有界または無限大）が普遍近似を可能にする役割は何か？
• RQ4 バロン空間は、関数の正則性の観点から、ニューラルネットワークの近似誤差をどのように定量化できるか？
• RQ5 普遍近似性は $L^p$ 空間および多出力ネットワークへ拡張可能か？

主な発見

• 非多項式活性化関数を備えたフィードフォワードニューラルネットワークは、Leshno ら（1993）によって証明された普遍近似定理を満たす。これは、Cybenko（1989）および Hornik（1989）の先行研究を拡張するものである。
• 非多項式活性化関数を備えた単一隠れ層ネットワークは、$\mathbb{R}^r$ のコンパクト部分集合上で、任意の連続関数を上限ノルムにおいて密に近似可能であり、任意の精度が達成可能である。
• ソボレフ空間における近似速度は、$N$ 個の隠れユニットに対して $O(1/\sqrt{N})$ で有界であり、ターゲット関数の滑らかさに依存する。
• バロン空間に属する関数は、適切な活性化関数のもとで、近似誤差が $O(1/N)$ のオーダーで有界である。ここで $N$ は隠れユニット数である。
• 定理は $1 \leq p < \infty$ の $L^p$ 空間へ拡張可能であり、適切な条件下でニューラルネットワークが $L^p(\mathbb{R}^r)$ に稠密であることを示している。
• 本論文は、リッジ関数の集合が $C(\mathbb{R}^r)$ において基底的であることを確立しており、普遍近似を証明するための重要な技術的ブリッジを提供している。