[論文レビュー] Deep Network Approximation with Discrepancy Being Reciprocal of Width to Power of Depth.

Zuowei Shen, Haizhao Yang+1 more|arXiv (Cornell University)|Jun 22, 2020

Advanced Numerical Analysis Techniques被引用数 3

ひとこと要約

この論文は、床関数とReLU活性化関数を用いた深層ニューラルネットワーク（Floor-ReLUネットワーク）を導入し、[0,1]^d 上のリプシッツ連続関数および連続関数に対して指数的近似レートを達成することを示している。幅 max{d, 5N+13} および深さ 64dL+3 をとることで、次元の呪いを克服し、近似誤差が N^{-√L} に比例して減少し、有効な次数に依存しない形で √d に比例する。

ABSTRACT

A new network with super approximation power is introduced. This network is built with Floor ($\lfloor x floor$) and ReLU ($\max\{0,x\}$) activation functions and hence we call such networks as Floor-ReLU networks. It is shown by construction that Floor-ReLU networks with width $\max\{d,\, 5N+13\}$ and depth $64dL+3$ can pointwise approximate a Lipschitz continuous function $f$ on $[0,1]^d$ with an exponential approximation rate $3\mu\sqrt{d}\,N^{-\sqrt{L}}$, where $\mu$ is the Lipschitz constant of $f$. More generally for an arbitrary continuous function $f$ on $[0,1]^d$ with a modulus of continuity $\omega_f(\cdot)$, the constructive approximation rate is $\omega_f(\sqrt{d}\,N^{-\sqrt{L}})+2\omega_f(\sqrt{d}){N^{-\sqrt{L}}}$. As a consequence, this new network overcomes the curse of dimensionality in approximation power since this approximation order is essentially $\sqrt{d}$ times a function of $N$ and $L$ independent of $d$.

研究の動機と目的

• 高次元関数に対して超優れた近似能力を有する深層ネットワークアーキテクチャの開発を目的とする。
• 深層ネットワークによる関数近似における次元の呪いを解消することを目的とする。
• 床関数とReLU活性化関数のみを用いて、証明可能な高速収束レートを達成するネットワークの構築を目的とする。
• 入力次元 d に依存しない形で、ネットワーク幅 N および深さ L に favourably スケーリングする近似誤差の境界を確立することを目的とする。
• 近似レートが √d の乗数因子としてのみ依存し、次元に依存する指数としての依存関係を持たないことを示すこと。

提案手法

• 床関数とReLU活性化関数のみを用いた深層ネットワークを構築し、関数近似に対する精密な制御を可能にする。
• 表現力の確保のため、ネットワークの深さを 64dL + 3、幅を max{d, 5N+13} として設計する。
• 床関数を用いて細かいスケールでの区分的定数近似を実現し、高精度な表現を可能にする。
• 床関数による量子化とReLUによる補間を組み合わせることで、連続関数の滑らかな近似を達成する。
• 連続性モジュラス ω_f を用いて近似誤差の境界を導出し、誤差が ω_f(√d N^{-√L}) + 2ω_f(√d) N^{-√L} に比例することを示す。
• 有効な近似次数が √d に比例し、d に依存しない関数として表され、次元の呪いが克服されることを証明する。

実験結果

リサーチクエスチョン

• RQ1 床関数とReLU活性化関数のみを用いた深層ネットワークは、[0,1]^d 上の連続関数に対して指数的近似レートを達成できるか？
• RQ2 近似誤差がネットワーク幅 N および深さ L に favourably スケーリングし、入力次元 d に依存しないか？
• RQ3 特定の活性化関数に基づくアーキテクチャを用いることで、ニューラルネットワーク近似における次元の呪いを克服できるか？
• RQ4 リプシッツ関数および連続関数に対して、近似誤差が N, L, d にどのように依存するか？
• RQ5 床関数の使用は、標準的なReLUネットワークと比較して、近似性能をどのように向上させるか？

主な発見

• 幅 max{d, 5N+13} および深さ 64dL+3 を持つ Floor-ReLU ネットワークは、定数 μ を持つリプシッツ関数に対して、指数的近似レート 3μ√d N^{-√L} を達成する。
• 一般の連続関数に対しては、近似誤差が ω_f(√d N^{-√L}) + 2ω_f(√d) N^{-√L} で有界であり、ここで ω_f は連続性モジュラスである。
• 有効な近似次数は √d に比例し、N および L の関数として表され、d に依存しない。これは、次元の呪いが克服されたことを示している。
• 床関数の使用により細かいスケールでの量子化が可能となり、ReLUと組み合わせることで高精度な近似が可能になる。
• 近似レートは N に対して多項式より速く減少し、深さおよび幅の観点から指数的近似に近い収束を達成する。
• ネットワーク構造は明示的に構築されており、ランダムまたは暗黙の学習手順に依存せず、理論的保証が得られる。