[論文レビュー] Nearly Optimal Approximation Rates for Deep Super ReLU Networks on Sobolev Spaces

Yahong Yang, Yue Wu+2 more|arXiv (Cornell University)|Oct 16, 2023

Asphalt Pavement Performance EvaluationEngineering被引用数 3

ひとこと要約

この論文は、最終層でReLUと二乗ReLU活性化関数を組み合わせることで、$W^{m,p}$ 空間（$m \geq 2$）における高階微分の近似を可能にする Deep Super ReLU Networks (DSRNs) を提案する。$O(\log_2 L)$ 層にのみ二乗ReLUを配置することで、訓練の利点を保ちながらほぼ最適な近似レートを達成し、高階微分のVC次元および擬似次元解析による一般化と最適性の理論的保証を得る。

ABSTRACT

This paper introduces deep super ReLU networks (DSRNs) as a method for approximating functions in Sobolev spaces measured by Sobolev norms $W^{m,p}$ for $m\in\mathbb{N}$ with $m\ge 2$ and $1\le p\le +\infty$. Standard ReLU deep neural networks (ReLU DNNs) cannot achieve this goal. DSRNs consist primarily of ReLU DNNs, and several layers of the square of ReLU added at the end to smooth the networks output. This approach retains the advantages of ReLU DNNs, leading to the straightforward training. The paper also proves the optimality of DSRNs by estimating the VC-dimension of higher-order derivatives of DNNs, and obtains the generalization error in Sobolev spaces via an estimate of the pseudo-dimension of higher-order derivatives of DNNs.

研究の動機と目的

• 標準的な ReLU DNN が $m \geq 2$ のソボレフ空間 $W^{m,p}$ において高階微分を持つ関数を近似できないという制限を解消すること。
• 訓練効率がReLUネットワークと同等である一方で、高階微分を計算するために必要な滑らかさを備えた深層ネットワークアーキテクチャを開発すること。
• DSNの高階微分のVC次元および擬似次元の推定を用いて、近似レートの理論的最適性を確立すること。
• 高階微分の複雑さを擬似次元に基づいて推定することで、ソボレフノルムにおける一般化誤差バウンドを提供すること。

提案手法

• すべての層を除いて標準ReLUを使用し、最後の数層でのみ二乗ReLUを適用することで滑らかさを向上させる Deep Super ReLU Networks (DSRNs) を提案する。
• ネットワークの深さを $L$ とすると、二乗ReLU層の数を $O(\log_2 L)$ に制限することで、複雑さを制御しつつ $W^{m,p}$ 近似に必要な十分な滑らかさを確保する。
• ReLU と二乗ReLUの合成により、高階微分が良好に振る舞い、一般化解析に適した性質を持つネットワークを構築する。
• 擬似次元およびVC次元理論を用いて、DSRNsの高階微分の複雑さを分析し、ソボレフノルムにおける一般化誤差バウンドを可能にする。
• 二次微分の擬似次元を用いて一般化誤差バウンドを導出し、$\mathcal{O}\left(\frac{NL(\log_2 L \log_2 N)^{1/2}}{\sqrt{M}}\log M\right)$ の形のバウンドを得る。
• PINNs を用いた1次元ポアソン方程式における数値的検証により、DSRNs と完全に二乗ReLUを適用したネットワークを比較し、解およびその微分の近似性能が優れていることを示す。

実験結果

リサーチクエスチョン

• RQ1 ReLUに基づく深層ニューラルネットワークを、$m \geq 2$ のソボレフ空間 $W^{m,p}$ においてほぼ最適な近似レートを達成できるように変更可能か？
• RQ2 訓練効率を損なわずに滑らかさを確保するための、二乗ReLU層の最適な配置と数は何か？
• RQ3 高階微分を持つ関数を近似する際、ソボレフノルムにおけるDNNの一般化誤差をどのようにバウンドできるか？
• RQ4 VC次元および擬似次元は、DNNの高階微分の複雑さをどのように特徴づけるか？
• RQ5 擬似次元などの微分複雑度測度を用いて、DSRNsの近似レートが最適であることを証明可能か？

主な発見

• DSRNs は $m \geq 2$ の $W^{m,p}$ 空間における関数に対して、標準的な ReLU DNN が持つ本質的な非滑らかさを克服し、ほぼ最適な近似レートを達成する。
• 必要な二乗ReLU層の数は $O(\log_2 L)$ であり、これにより十分な滑らかさが確保されつつ、計算効率と訓練安定性が維持される。
• ソボレフノルムにおける一般化誤差は $\mathcal{O}\left(\frac{NL(\log_2 L \log_2 N)^{1/2}}{\sqrt{M}}\log M\right)$ でバウンドされ、ここで $M$ はサンプルサイズである。
• DSRNs の二次微分の擬似次元は $O(NL(\log_2 L \log_2 N)^{1/2})$ でバウンドされ、タイトな一般化誤差推定が可能になる。
• 数値実験により、DSRNs が1次元ポアソン方程式の解およびその微分を正確に近似でき、完全に二乗ReLUを適用したネットワークを上回ることを確認した。
• 理論的枠組みにより、導出されたバウンドが対数要因を除いて既知のミニマックスレートと一致するため、DSRNs が近似レートにおいて最適であることが示された。