[論文レビュー] High-Order Approximation Rates for Shallow Neural Networks with Cosine and ReLU$^k$ Activation Functions

Jonathan W. Siegel, Jinchao Xu|arXiv (Cornell University)|Dec 14, 2020

Machine Learning and ELM被引用数 4

ひとこと要約

本稿では、コサイン関数およびReLU$^k$活性化関数を用いた浅いニューラルネットワークにおける最適な高次近似レートを確立する。ReLU$^k$ネットワークが次元$d$に依存しない$H^2$近似レート$O(n^{-(k+1)}\log n)$を達成することを証明しており、次元に伴い滑らかさや多項式の次数を増加させる必要がある古典的手法に比べて優れている。この結果は、滑らかさインデックス$s$を持つスペクトルバロン空間に属する関数に対して成り立ち、一致する下界を用いて近似レートが最適であることが示されている。

ABSTRACT

We study the approximation properties of shallow neural networks with an activation function which is a power of the rectified linear unit. Specifically, we consider the dependence of the approximation rate on the dimension and the smoothness in the spectral Barron space of the underlying function $f$ to be approximated. We show that as the smoothness index $s$ of $f$ increases, shallow neural networks with ReLU$^k$ activation function obtain an improved approximation rate up to a best possible rate of $O(n^{-(k+1)}\log(n))$ in $L^2$, independent of the dimension $d$. The significance of this result is that the activation function ReLU$^k$ is fixed independent of the dimension, while for classical methods the degree of polynomial approximation or the smoothness of the wavelets used would have to increase in order to take advantage of the dimension dependent smoothness of $f$. In addition, we derive improved approximation rates for shallow neural networks with cosine activation function on the spectral Barron space. Finally, we prove lower bounds showing that the approximation rates attained are optimal under the given assumptions.

研究の動機と目的

• スペクトルバロン空間に属する関数に対して、ReLU$^k$およびコサイン活性化関数を用いた浅いニューラルネットワークの近似能力を分析すること。
• 目的関数$f$の滑らかさ$s$が増加するにつれて近似レートがどのように向上するかを定量すること。
• 次元に依存しない近似レートをReLU$^k$ネットワークに確立することにより、次元に伴い滑らかさや次数を増加させる必要がある古典的手法の制限を克服すること。
• 一致する下界を導出し、得られた近似レートの最適性を証明すること。

提案手法

• 解析は、滑らかさインデックス$s$によって制御されるフーリエ領域における係数の減衰を特徴付けるスペクトルバロン空間$\mathcal{B}^s(\Omega)$で行われる。
• ReLU$^k$ネットワークの場合、近似関数は$\sigma(x) = [\max(0,x)]^k$を用いたリッジ関数$\sigma(\omega_i \cdot x + b_i)$の線形結合として構築される。
• 証明にはフーリエ解析、被覆論的議論、エントロピー推定が組み合わされ、所定の誤差内での近似に必要な異なるネットワーク構成の数を上限付ける。
• 下界は、問題を1次元に還元し、解析関数の区分的多項式近似に関する既知の結果を活用することで導出される。
• コサイン活性化関数の議論では、同様のエントロピーおよび被覆技法が用いられ、フーリエ係数と周波数の摂動を施して識別可能な関数の集合を構築する。
• エントロピーと被覆数に基づく背理的議論を用いて最適性を証明し、与えられた仮定の下ではより速いレートは不可能であることを示す。

実験結果

リサーチクエスチョン

• RQ1 浅いReLU$^k$ネットワークは、次元$d$に依存しない形で、目的関数の滑らかさ$s$に応じて近似レートを向上させることができるか？
• RQ2 スペクトルバロン空間$\mathcal{B}^s(\Omega)$に属する関数に対して、浅いReLU$^k$ネットワークが$L^2$ノルムで達成可能な最良の近似レートは何か？
• RQ3 同じ滑らかさ仮定の下で、コサイン活性化ネットワークの近似レートはReLU$^k$ネットワークのそれと比べてどのように異なるか？
• RQ4 導出された近似レートは最適であるか、あるいは他の構成によって改善可能か？

主な発見

• 浅いReLU$^k$ネットワークは、スペクトルバロン空間$\mathcal{B}^s(\Omega)$に属する関数に対して、次元$d$に依存しない$H^2$近似レート$O(n^{-(k+1)}\log n)$を達成する。
• 一致する下界により、このレートが最適であることが示されている：任意の$m \leq s$に対して、$\|f - f_n\|_{H^m(\Omega)} \gtrsim n^{m-(k+1)}$を満たす関数$f \in \mathcal{B}^s(\Omega)$が存在する。
• ReLU$^k$ネットワークの近似レートは$k$の増加に伴い向上し、最良のレートは$O(n^{-(k+1)}\log n)$であり、これ以上改善できない。
• コサイン活性化関数では、スペクトルバロン空間において改善された近似レートが得られているが、要約では閉形式の表記は示されていない。
• これらの結果は、ReLU$^k$ネットワークが次元に依存しない近似レートを達成できることを示しており、有限要素法やウェーブレットなどの古典的手法とは異なり、次元に伴い滑らかさや次数を増加させる必要がない。
• 近似レートの最適性は、エントロピーと被覆数に基づく背理的議論により証明されており、構築された関数の集合は$\sim R^{(2s + \frac{5}{2}d - t)dR^{d-t}}$個以下の要素では被覆できないことが示されている。