[論文レビュー] A closer look at the approximation capabilities of neural networks

Kai Fong Ernest Chong|arXiv (Cornell University)|Feb 16, 2020

Neural Networks and Applications参考文献 24被引用数 9

ひとこと要約

この論文は、連続的で多項式でない活性化関数を備えた順方向型ニューラルネットワークにおける普遍近似定理の直接的な代数的証明を提供する。多項式関数の全次数 $d$ に対して $inom{n+d}{d}$ 個の隠れユニットが必要であり、一般の連続関数に対しては $ ilde{ ho}( ilde{ ho}^{-n})$ 個の隠れユニットが必要であることを定量的に示している。これは、非バイアス重みに厳しい制約がある場合でも成り立つ。

ABSTRACT

The universal approximation theorem, in one of its most general versions, says that if we consider only continuous activation functions $σ$, then a standard feedforward neural network with one hidden layer is able to approximate any continuous multivariate function $f$ to any given approximation threshold $\varepsilon$, if and only if $σ$ is non-polynomial. In this paper, we give a direct algebraic proof of the theorem. Furthermore we shall explicitly quantify the number of hidden units required for approximation. Specifically, if $X\subseteq \mathbb{R}^n$ is compact, then a neural network with $n$ input units, $m$ output units, and a single hidden layer with $\binom{n+d}{d}$ hidden units (independent of $m$ and $\varepsilon$), can uniformly approximate any polynomial function $f:X o \mathbb{R}^m$ whose total degree is at most $d$ for each of its $m$ coordinate functions. In the general case that $f$ is any continuous function, we show there exists some $N\in \mathcal{O}(\varepsilon^{-n})$ (independent of $m$), such that $N$ hidden units would suffice to approximate $f$. We also show that this uniform approximation property (UAP) still holds even under seemingly strong conditions imposed on the weights. We highlight several consequences: (i) For any $δ> 0$, the UAP still holds if we restrict all non-bias weights $w$ in the last layer to satisfy $|w| < δ$. (ii) There exists some $λ>0$ (depending only on $f$ and $σ$), such that the UAP still holds if we restrict all non-bias weights $w$ in the first layer to satisfy $|w|>λ$. (iii) If the non-bias weights in the first layer are \emph{fixed} and randomly chosen from a suitable range, then the UAP holds with probability $1$.

研究の動機と目的

• 連続的で多項式でない活性化関数を備えたニューラルネットワークにおける普遍近似定理の直接的な代数的証明を提供すること。
• 連続関数および多項式関数を一様近似するために必要な隠れユニットの数を明示的に定量すること。
• 最初の層または最後の層の非バイアス重みに強い制約が与えられた場合に、普遍近似性質（UAP）が成立するかを調査すること。
• 構造的制限下でも近似能力を維持するためのバイアスおよび非バイアス重みの役割を探索すること。
• 畳み込み型や再帰型アーキテクチャを含む、より広範なニューラルネットワーククラスに適用可能な一般化された代数的基準を確立すること。

提案手法

• 代数幾何学およびバーデルモンデ行列の性質を用いて、ネットワーク関数の線形独立性を分析する。
• 非バイアスバーデルモンデ行列の正則性を、重み制約下での普遍近似の鍵となる条件として採用する。
• ワイエルシュトラス近似定理を適用して、連続関数とその多項式近似との間の誤差を評価する。
• 連続関数のための $ ilde{ ho}( ilde{ ho}^{-n})$ スケーリングを導出するために、連続性モジュラスに基づく誤差境界を導入する。
• 全次数 $d$ の任意の多項式関数をコンpact領域上で正確に表現できるように、$inom{n+d}{d}$ 個の隠れユニットを持つニューラルネットワークを構築する。
• 重み空間上の測度論的議論を用いて、非バイアス重みが小さな区間内に制限されたり、ゼロから離れて制限されたりする場合でも、UAPが成立することを示す。

実験結果

リサーチクエスチョン

• RQ1 普遍近似定理は、関数解析的手法ではなく、直接的な代数的アプローチによって証明可能か？
• RQ2 連続関数を誤差 $ ilde{ ho}$ 以内で一様近似するためには、正確にどの程度の隠れユニットが必要か？
• RQ3 最初の層または最後の層の非バイアス重みが特定の範囲に制限された場合でも、普遍近似性質（UAP）は維持されるか？
• RQ4 非バイアス重みが固定されたり、与えられた範囲から確率的に抽出されたりする場合でも、UAPを維持できるか？
• RQ5 与えられたニューラルネットワーククラスに対して、普遍近似を保証するネットワーク重みに関する代数的条件は何か？

主な発見

• 全次数が最大 $d$ の任意の多項式関数 $f: X \to \mathbb{R}^m$ を、$inom{n+d}{d}$ 個の隠れユニットを持つニューラルネットワークが、$ ilde{ ho}$ や $m$ に依存せずに一様近似可能である。
• コンパクト集合 $X \subseteq \mathbb{R}^n$ 上の任意の連続関数 $f: X \to \mathbb{R}^m$ に対して、$ ilde{ ho}( ilde{ ho}^{-n})$ 個の隠れユニットがあれば、誤差 $ ilde{ ho}$ 以内の一様近似が達成可能であり、$m$ に依存しない。
• 任意の $ ilde{ ho} > 0$ に対して、最後の層のすべての非バイアス重みが $|w| < \delta$ に制限されても、UAPは成立する。この境界は $\delta$ に依存しない。
• ある $ ilde{ ho} > 0$ が存在し（$f$ と $\sigma$ に依存）、最初の層のすべての非バイアス重みが $|w| > \lambda$ を満たす場合でも、UAPは依然として成立する。
• 最初の層の非バイアス重みが適切な範囲から固定されたり確率的に選ばれたりしても、UAPは確率1で成立する。
• 非バイアスバーデルモンデ行列が正則である重み設定の集合は、重み空間において稠密であり、このような設定が存在し、一般に成立することが示唆される。