[論文レビュー] Optimal Approximation Rates for Deep ReLU Neural Networks on Sobolev and Besov Spaces

Jonathan W. Siegel|arXiv (Cornell University)|Nov 25, 2022

Mathematical Approximation and Integration被引用数 9

ひとこと要約

本稿は、すべての $1 \leq p,q \leq \infty$ および $s > 0$ に対して、$L_p$ ノルムにおけるソボレフ空間およびベゾフ空間における深層ReLUニューラルネットワークの最適近似レートを確立する。非線形領域 $p > q$ におけるスパースベクトル符号化のための新規ビット抽出技術と、$L_p$ の下界を求めるためのVC次元に基づく手法を用いる。非常に深いネットワークは優れた近似効率を達成するが、そのパラメータは符号化不能であることが示された。

ABSTRACT

Let $Ω= [0,1]^d$ be the unit cube in $\mathbb{R}^d$. We study the problem of how efficiently, in terms of the number of parameters, deep neural networks with the ReLU activation function can approximate functions in the Sobolev spaces $W^s(L_q(Ω))$ and Besov spaces $B^s_r(L_q(Ω))$, with error measured in the $L_p(Ω)$ norm. This problem is important when studying the application of neural networks in a variety of fields, including scientific computing and signal processing, and has previously been solved only when $p=q=\infty$. Our contribution is to provide a complete solution for all $1\leq p,q\leq \infty$ and $s > 0$ for which the corresponding Sobolev or Besov space compactly embeds into $L_p$. The key technical tool is a novel bit-extraction technique which gives an optimal encoding of sparse vectors. This enables us to obtain sharp upper bounds in the non-linear regime where $p > q$. We also provide a novel method for deriving $L_p$-approximation lower bounds based upon VC-dimension when $p < \infty$. Our results show that very deep ReLU networks significantly outperform classical methods of approximation in terms of the number of parameters, but that this comes at the cost of parameters which are not encodable.

研究の動機と目的

• 深層ReLUニューラルネットワークがソボレフ空間およびベゾフ空間の関数を $L_p$ ノルムで測定した近似誤差において、最適な近似レートを達成できるかを特定すること。
• コンpact埋め込みが $L_p$ に成り立つすべての $1 \leq p,q \leq \infty$ および $s > 0$ に対して、長年の未解決問題を完全に解明すること。
• 非線形領域 $p > q$ における鋭い上界を達成するための新規ビット抽出技術を開発し、スパース関数表現における最適なパラメータ利用を可能にすること。
• $p < \infty$ の場合に $L_p$-近似下界を導出するための新しい手法を提案し、VC次元を用いること。
• 深層ネットワークにおける近似効率とパラメータ符号化可能性のトレードオフを明確にすること。

提案手法

• 本稿は、スパースベクトルを最適に符号化するための新規ビット抽出技術を導入し、非線形領域（$p > q$）における近似誤差のタイトな上界を達成する。
• 多項式の符号パターンの数を扱うウォーレンの定理を用い、$W$ 個のニューロンと $L$ 層を持つ深層ReLUネットワークが表現可能な関数の数を評価する。
• VC次元に基づくアプローチを用いて、$p < \infty$ の場合の $L_p$-ノルム近似下界を導出し、ネットワーク容量を分析するための新しいツールを提供する。
• 既知の拡張定理を活用して、単位立方体 $[0,1]^d$ からの結果を、十分に滑らかな領域へ一般化する。
• インタポレーションおよびベゾフ、ソボレフ、ルベーグ空間間の埋め込み結果を用いて理論的境界を導出する。
• 近似レートの一致する上界と下界を確立し、すべてのパrameter設定において最適性を証明する。

実験結果

リサーチクエスチョン

• RQ1 すべての $1 \leq p,q \leq \infty$ および $s > 0$ に対して、$L_p$-ノルムで測定したソボレフ空間およびベゾフ空間の関数に対する深層ReLUネットワークが達成可能な最適近似レートは何か？
• RQ2 特にスパース関数表現において、非線形領域 $p > q$ での鋭い上界を達成するにはどうすればよいか？
• RQ3 新規ビット抽出技術を用いてスパースベクトルを効率的に符号化し、最適なネットワークパラメータの利用を可能にできるか？
• RQ4 $p < \infty$ の場合に、VC次元が深層ネットワークの $L_p$-ノルム近似下界を導出する上で果たす役割は何か？
• RQ5 非常に深いReLUネットワークは、パラメータ効率の観点から、古典的手法をどれほど上回るのか？その代償としてパラメータの符号化不能性はどの程度か？

主な発見

• 本稿は、$L_p$ にコンパクトに埋め込まれるすべての $1 \leq p,q \leq \infty$ および $s > 0$ に対して、ソボレフ空間およびベゾフ空間における深層ReLUネットワークの最適近似レートを確立し、長年の未解決問題を解決した。
• 新規ビット抽出技術により、非線形領域（$p > q$）における鋭い上界が達成され、スパース関数表現における最適なパラメータ効率が実現された。
• VC次元に基づく新しい手法により、$p < \infty$ の場合のタイトな $L_p$-ノルム近似下界が得られ、一致する上界と下界が得られた。
• 非常に深いReLUネットワークは、パラメータ効率の観点で古典的手法を著しく上回るが、その利点は有限精度で符号化できないパラメータを必要とする。
• 結果から、深層ネットワークの近似能力が、極めて非線形的かつスパースな構造を効率的に表現できる能力に根本的に関係していることが示された。
• 分析により、深層ネットワークが、滑らかさ $s$、可積分性 $q$、およびターゲットノルム $p$ に明示的な依存関係を示しながら、すべての関数クラスおよびノルムにおいて最適な近似レートを達成することが確認された。