[論文レビュー] Improved Approximation Properties of Dictionaries and Applications to Neural Networks

Jonathan W. Siegel, Jinchao Xu|arXiv (Cornell University)|Jan 29, 2021

Sparse and Compressive Sensing Techniques参考文献 15被引用数 6

ひとこと要約

本稿では、ヒルバート空間内の関数クラスの近似誤差、メトリックエントロピー、ゲルファンド $n$-幅の向上を目的として、滑らかにパラメータ化された辞書を導入する。ReLU$^k$活性化関数を用いたネットワークおよびスペクトルバロン空間に対して、より緊密な境界を達成し、スペクトルバロン空間のゲルファンド $n$-幅に対する最初の推定値を提供する。

ABSTRACT

This article addresses the problem of approximating a function in a Hilbert space by an expansion over a dictionary $\mathbb{D}$. We introduce the notion of a smoothly parameterized dictionary and give upper bounds on the approximation rates, metric entropy and $n$-widths of the absolute convex hull, which we denote $B_1(\mathbb{D})$, of such dictionaries. The upper bounds depend upon the order of smoothness of the parameterization, and improve upon existing results in many cases. The main applications of these results is to the dictionaries $\mathbb{D} = \{\sigma(\omega\cdot x + b)\}\subset L^2$ corresponding to shallow neural networks with activation function $\sigma$, and to the dictionary of decaying Fourier modes corresponding to the spectral Barron space. This improves upon existing approximation rates for shallow neural networks when $\sigma = ext{ReLU}^k$ for $k\geq 2$, sharpens bounds on the metric entropy, and provides the first bounds on the Gelfand $n$-widths of the Barron space and spectral Barron space.

研究の動機と目的

• ヒルバート空間内の関数に対して、辞書展開を用いて近似誤差を改善すること。
• 滑らかにパラメータ化された辞書の絶対凸包 $B_1(\mathbb{D})$ のメトリックエントロピーおよびゲルファンド $n$-幅を分析すること。
• これらの結果を、ReLU$^k$活性化関数を用いた浅層的ニューラルネットワークおよびスペクトルバロン空間に適用すること。
• スペクトルバロン空間のゲルファンド $n$-幅に対する最初の境界を確立すること。

提案手法

• 近似品質を決定する滑らかさの順序を有する滑らかにパラメータ化された辞書の概念を導入する。
• パラメータ化の滑らかさに基づいて、$B_1(\mathbb{D})$ の近似誤差、メトリックエントロピー、ゲルファンド $n$-幅の上界を導出する。
• 浅層的ニューラルネットワークの辞書 $\mathbb{D} = \{\sigma(\omega \cdot x + b)\}$ を $L^2$ で適用する。
• 減衰するフーリエモードの辞書を用いてスペクトルバロン空間を分析する。
• エントロピーおよび幅理論を含む関数解析的ツールを用いて、関数クラスの複雑さを定量化する。
• より高いパラメータ化の滑らかさが、近似および複雑さの境界の改善に寄与することを確立する。

実験結果

リサーチクエスチョン

• RQ1 辞書のパラメータ化の滑らかさの性質は、ヒルバート空間内での近似誤差にどのように影響するか？
• RQ2 滑らかにパラメータ化された辞書の絶対凸包 $B_1(\mathbb{D})$ のメトリックエントロピーおよびゲルファンド $n$-幅は何か？
• RQ3 $k \geq 2$ の場合に、ReLU$^k$活性化関数を用いた浅層的ニューラルネットワークに対して、改善された近似誤差を確立できるか？
• RQ4 スペクトルバロン空間のゲルファンド $n$-幅に対する最初に知られている境界は何か？
• RQ5 新しい境界は、既存の結果と比較して、タイトさおよび一般性の観点でどのように異なるか？

主な発見

• 本稿では、$k \geq 2$ のReLU$^k$活性化関数を用いた浅層的ニューラルネットワークに対して、先行研究を上回る改善された上界が近似誤差に確立された。
• スペクトルバロン空間のゲルファンド $n$-幅に対する最初に知られている境界が提供され、関数クラスの複雑さ分析において顕著な前進を遂げた。
• $B_1(\mathbb{D})$ のメトリックエントロピーは、辞書のパラメータ化の滑らかさの順序に基づいて評価され、よりタイトな推定が得られた。
• スペクトルバロン空間に対しては、導出されたメトリックエントロピーおよびゲルファンド $n$-幅の境界が、従来の結果よりも鋭くなった。
• 本フレームワークにより、より滑らかなパラメータ化が、辞書に基づく展開におけるより良い近似および複雑さの制御に寄与することが示された。
• 結果として、バロン型空間およびニューラルネットワーク近似の既存理論が、特に高次元設定において一般化され、精錬された。