[論文レビュー] Exponential Convergence of the Deep Neural Network Approximation for Analytic Functions

E Weinan, Qingcan Wang|arXiv (Cornell University)|Jul 1, 2018

Neural Networks and Applications参考文献 7被引用数 16

ひとこと要約

この論文は、低次元空間における解析関数を近似する際、固定幅 $d+4$ の深層ニューラルネットワークが指数的収束率を達成することを証明している。フーリエ解析とReLUネットワーク表現を活用することで、近似誤差が $\mathcal{O}(\varepsilon^{-\log(1/\varepsilon)})$ に減少することを示し、精度に応じて深さが対数的にスケーリングされることを示しており、滑らかな関数に対して浅層ネットワークに比べて根本的な優位性を示している。

ABSTRACT

We prove that for analytic functions in low dimension, the convergence rate of the deep neural network approximation is exponential.

研究の動機と目的

• 滑らかな関数に対して深層ニューラルネットワークが浅層ネットワークを上回る近似能力を示す理論的基盤を確立すること。
• 解析関数に対して深層ネットワークが指数的収束率を達成できることを証明すること、特に低次元設定において。
• 固定幅 $d+4$ の深層ReLUネットワークを構築し、近似誤差の許容誤差に従って深さが対数的にスケーリングされるようにすること。
• ユニバーサル近似定理と収束率のギャップを埋めるために、バロンの1層ネットワーク結果を深層アーキテクチャに拡張すること。

提案手法

• スキップ接続を備えた固定幅 $d+4$ の深層ReLUネットワークを構築し、クラス $\mathcal{F}_{L,M}(\mathbb{R}^d)$ に属する関数を表現すること。
• 関数のフーリエ表現を用いて、コン pact 領域 $B$ 上の $L^2$ ノルムにおける近似誤差を抑える量 $C_{f,B}$ を定義すること。
• シグモイド活性化関数を用いた1隠れ層ネットワークに対するバロンの結果を適用し、$L^2$-誤差が $\mathcal{O}(n^{-1})$ に減少することを示す。ここで $n$ は隠れノード数である。
• 層ごとの分解を用いて浅層ReLUネットワークを深層ネットワークに変換し、近似精度を維持するとともに、深さに基づく解析を可能にすること。
• 深さ $L$、幅 $M+d+1$ の深層ネットワークが誤差 $\mathcal{O}((ML)^{-1/2})$ を達成することを確立し、$M$ を固定して $L \sim \log(1/\varepsilon)$ とすると指数的収束が得られることを示すこと。
• 解析関数に対して、パラメータ数が $\mathcal{O}((M+d)^2 L)$ に比例し、$M = d$ のとき誤差率が $\mathcal{O}((N/d)^{-1/2})$ にまで低下することを証明。これは浅層ネットワークのレートと一致するが、より深いアーキテクチャを用いている。

実験結果

リサーチクエスチョン

• RQ1 低次元における解析関数に対して、深層ニューラルネットワークは指数的収束率を達成できるか？
• RQ2 解析関数に対して、望ましい近似精度 $\varepsilon$ に応じて深層ネットワークの深さはどのようにスケーリングされるか？
• RQ3 滑らかな関数に対して、深層ネットワークにおけるパラメータ数と近似誤差の関係は何か？
• RQ4 浅層ネットワークのユニバーサル近似性が、保証された収束率を持つ深層ネットワークへと拡張可能か？

主な発見

• 低次元における解析関数に対して、固定幅 $d+4$ の深層ニューラルネットワークは指数的収束を達成する。誤差許容度 $\varepsilon$ に対して深さは $\mathcal{O}(\log(1/\varepsilon))$ にスケーリングされる。
• $L^2$-近似誤差は $\mathcal{O}((ML)^{-1/2})$ で抑えられ、ここで $M$ は幅、$L$ は深さである。$M$ を固定して $L \sim \log(1/\varepsilon)$ とすると、指数的減少が得られる。
• $L$ 層、幅 $M+d+1$ の深層ReLUネットワークは、任意の関数 $f \in \mathcal{F}_{L,M}(\mathbb{R}^d)$ を誤差 $\leq \frac{8C_{f,B}^2}{ML}$ で近似可能であり、ここで $C_{f,B}$ は $f$ のフーリエ変換に依存する。
• ネットワークのパラメータ数は $\mathcal{O}((M+d)^2 L)$ に比例し、$M = d$ のとき誤差率は $\mathcal{O}((N/d)^{-1/2})$ にまで低下する。これは浅層ネットワークのレートと一致するが、より深いアーキテクチャを用いている。
• 構築手法により、深層ネットワークが浅層ネットワークと同等の収束率を達成できるが、深さを増やすことでパラメータ対精度のスケーリングがより効率的であることが示された。
• この結果により、解析関数に対して深層ネットワークが根本的な優位性を示すことが明らかになった。指数的収束は、浅層ネットワークの多項式レートに比べて著しく速い誤差減少を意味する。