[論文レビュー] Approximation of Smoothness Classes by Deep ReLU Networks

Mazen Ali, Anthony Nouy|arXiv (Cornell University)|Jul 30, 2020

Mathematical Approximation and Integration参考文献 24被引用数 5

ひとこと要約

本稿では、スパースに接続された深層ReLUおよびRePUネットワークが、任意の次元においてBesov空間$B^\tau_{\mathrm{q}}(L^p)$に属する関数に対して最適またはほぼ最適な近似レートを達成することを確立している。RePUネットワークは臨界埋め込み直線$1/p = \alpha/d + 1/q$上で最適なレートを達成するのに対し、ReLUネットワークはこの直線の上方でほぼ最適なレートを達成する。これは補間理論を用いて、滑らかさの全範囲にわたって結果を拡張することで実現される。

ABSTRACT

We consider approximation rates of sparsely connected deep rectified linear unit (ReLU) and rectified power unit (RePU) neural networks for functions in Besov spaces $B^\alpha_{q}(L^p)$ in arbitrary dimension $d$, on bounded or unbounded domains. We show that RePU networks with a fixed activation function attain optimal approximation rates for functions in the Besov space $B^\alpha_{ au}(L^ au)$ on the critical embedding line $1/ au=\alpha/d+1/p$ for arbitrary smoothness order $\alpha>0$. Moreover, we show that ReLU networks attain near to optimal rates for any Besov space strictly above the critical line. Using interpolation theory, this implies that the entire range of smoothness classes at or above the critical line is (near to) optimally approximated by deep ReLU/RePU networks.

研究の動機と目的

• 滑らかさ空間における深層ReLUおよびRePUネットワークの近似レートを分析すること。
• 深層ネットワークがBesov空間$B^\tau_q(L^p)$に属する関数に対して最適な近似を達成できるかどうかを特定すること。
• ReLUまたはRePUネットワークが最適またはほぼ最適な収束レートを達成する条件を同定すること。
• 解析を任意の次元および有界・無限大領域に拡張すること。
• 補間理論を用いて滑らかさクラスの全範囲にわたる結果を統一すること。

提案手法

• 関数空間における近似理論の枠組み内で解析が行われ、Besov空間$B^\tau_q(L^p)$に焦点を当てる。
• 本稿では、臨界埋め込み直線における結果を広い滑らかさクラスへ接続するために補間理論が用いられる。
• 固定活性化関数を用いたRePUネットワークの臨界直線$1/p = \alpha/d + 1/q$における近似レートが確立される。
• ReLUネットワークに関しては、臨界直線の上方にある関数に対してほぼ最適なレートが導出される。
• スパースに接続された深層ネットワークにReLUおよびRePU活性化ユニットを適用する。
• 理論的バウンズは、ニューラルネットワークアーキテクチャおよび関数空間埋め込みの性質を用いて導出される。

実験結果

リサーチクエスチョン

• RQ1 深層ReLUおよびRePUネットワークは、Besov空間$B^\tau_q(L^p)$に属する関数に対して最適な近似レートを達成できるか？
• RQ2 RePUネットワークは臨界埋め込み直線$1/p = \alpha/d + 1/q$上でどのように近似性能を示すか？
• RQ3 滑らかさスケールにおいて臨界直線の上方にある関数に対して、ReLUネットワークの近似性能はどの程度最適に近いか？
• RQ4 補間理論を用いて、臨界直線から得られた近似結果を滑らかさクラスの全範囲に拡張できるか？
• RQ5 これらの近似レートは任意の次元および有界・無限大領域で成り立つか？

主な発見

• 固定活性化関数を用いたRePUネットワークは、臨界埋め込み直線$1/p = \alpha/d + 1/q$上での$B^\tau_q(L^p)$に属する関数に対して最適な近似レートを達成する。
• ReLUネットワークは、臨界直線の上方にあるすべてのBesov空間に属する関数に対してほぼ最適な近似レートを達成する。
• 臨界直線以上に位置する滑らかさクラスの全範囲が、深層ReLUおよびRePUネットワークによって（ほぼ）最適に近似される。
• 結果は任意の次元および有界・無限大領域で有効である。
• 補間理論が、臨界直線から滑らかさクラスの全範囲への最適性結果の拡張に用いられる。
• 近似レートはネットワークの幅に依存せず、深さと滑らかさパラメータにのみ依存する。