[論文レビュー] Nonlinear Approximation and (Deep) ReLU Networks

Ingrid Daubechies, Ronald DeVore+3 more|arXiv (Cornell University)|May 5, 2019

Neural Networks and Applications参考文献 6被引用数 104

ひとこと要約

この論文は深い ReLU ネットワークの単変函数に対する表現力を分析し、深さが自由結び目の線形スプラインを超える近似利得をもたらすことを示すとともに、包含と構成性を証明する特別なネットワーク構成を導入する。

ABSTRACT

This article is concerned with the approximation and expressive powers of deep neural networks. This is an active research area currently producing many interesting papers. The results most commonly found in the literature prove that neural networks approximate functions with classical smoothness to the same accuracy as classical linear methods of approximation, e.g. approximation by polynomials or by piecewise polynomials on prescribed partitions. However, approximation by neural networks depending on n parameters is a form of nonlinear approximation and as such should be compared with other nonlinear methods such as variable knot splines or n-term approximation from dictionaries. The performance of neural networks in targeted applications such as machine learning indicate that they actually possess even greater approximation power than these traditional methods of nonlinear approximation. The main results of this article prove that this is indeed the case. This is done by exhibiting large classes of functions which can be efficiently captured by neural networks where classical nonlinear methods fall short of the task. The present article purposefully limits itself to studying the approximation of univariate functions by ReLU networks. Many generalizations to functions of several variables and other activation functions can be envisioned. However, even in this simplest of settings considered here, a theory that completely quantifies the approximation power of neural networks is still lacking.

研究の動機と目的

• 深層 ReLU ネットワークの単変函数に対する近似能力を、古典的な非線形法と比較して評価する。
• 比較可能なパラメータ数を持つ固定幅の深層 ReLU ネットワークが自由結び目線形スプラインと同等、またはそれを凌ぐ表現力を得られることを確立する。
• 深さが合成と自己相似構造を通じて効率的な表現を可能にすることを示す。
• 近似力を保持・強化する特別なネットワーク構成を導入・分析する。
• データフィッティングのバイアスと実用的なアーキテクチャの潜在的影響について議論する。

提案手法

• 幅 W・深さ L の ReLU ネットワークが実現する関数クラスを Upsilon^{W,L} と表す。
• Upsilon^{W,L} を n 個のブレークポイントをもつ CPwL 関数の非線形スプライン類 Sigma_n と比較する。
• Sigma_n が Upsilon^{W,L} に含まれることを、深さと幅が概ね n のブレークポイントを表現可能にする二層の特殊ネットワーク構成を用いて証明する。
• hat 関数と主ブレークポイントを用いた、ブレークポイントを制御可能に生成するCPwL 関数を生み出す二層構成を開発する。
• CPwL 成分の合成および和へ拡張し、深さが表現力にどのように寄与するかを分析する。
• 特別なネットワーク内および標準ネットワークにおける合成・和の安定性に関する理論的結果を提供する。

実験結果

リサーチクエスチョン

• RQ1 固定幅の深層 ReLU ネットワークは、比較可能なパラメータ予算で自由結び目線形スプラインを近似できるか。
• RQ2 深い CPwL 関数の合成は Sigma_n が提供する表現力を超えるか。
• RQ3 深さと幅は、古典的な非線形法に対する近似能力にどのように影響するか。
• RQ4 構成的包含と追加の表現力を示すネットワークアーキテクチャ（特別なネットワーク）は何か。
• RQ5 深層 ReLU ネットワークを用いたデータフィッティングのバイアスにはどのような影響があるか。

主な発見

• 幅 n の ReLU ネットワークは、n パラメータで Sigma_n 関数を一定の因子で近似できる。
• Sigma_n は Upsilon^{W,L} に含まれ、深さと幅が概ね n のブレークポイントを表現可能にする。
• 深層ネットワークは合成によって多くのブレークポイントを生み出し、n に結びつく多項式的成長を超える。
• 特別なネットワーク構成（SC および CC チャネル）は、CPwL 関数およびそれらの和・合成を実現する枠組みを提供する。
• CPwL 関数の合成は、パラメータ数を制御しつつ有界な幅と深さで実現可能。
• 本論は、深層 ReLU ネットワークが効率的に模倣できる自己相似的および三角関数様の関数クラスを特定する。