[論文レビュー] Sharp Bounds on the Approximation Rates, Metric Entropy, and $n$-widths of Shallow Neural Networks

Jonathan W. Siegel, Jinchao Xu|arXiv (Cornell University)|Jan 29, 2021

Advanced Numerical Analysis Techniques参考文献 68被引用数 9

ひとこと要約

本稿では、ReLU^kおよびシグモイド型活性化関数を備えた浅いニューラルネットワークの近似速度、メトリックエントロピー、n-幅に関する鋭い上限と下限を確立する。滑らかにパラメータ化された辞書フレームワークを導入し、変動空間における最適収束速度を証明した。ReLU^kネットワークは、与えられた関数クラスに対して、$ n^{-1/2 - 1/(2d)} $ のオーダーで最良の近似誤差の減少率を達成しており、これはタイトな結果である。

ABSTRACT

In this article, we study approximation properties of the variation spaces corresponding to shallow neural networks with a variety of activation functions. We introduce two main tools for estimating the metric entropy, approximation rates, and $n$-widths of these spaces. First, we introduce the notion of a smoothly parameterized dictionary and give upper bounds on the non-linear approximation rates, metric entropy and $n$-widths of their absolute convex hull. The upper bounds depend upon the order of smoothness of the parameterization. This result is applied to dictionaries of ridge functions corresponding to shallow neural networks, and they improve upon existing results in many cases. Next, we provide a method for lower bounding the metric entropy and $n$-widths of variation spaces which contain certain classes of ridge functions. This result gives sharp lower bounds on the $L^2$-approximation rates, metric entropy, and $n$-widths for variation spaces corresponding to neural networks with a range of important activation functions, including ReLU$^k$ activation functions and sigmoidal activation functions with bounded variation.

研究の動機と目的

• 浅いニューラルネットワークのさまざまな活性化関数について、近似速度、メトリックエントロピー、n-幅に関する鋭い上界と下界を確立すること。
• バナッハ空間における非線形辞書近似を分析するための、滑らかにパラメータ化された辞書に基づく理論的枠組みを構築すること。
• リッジ関数に対応する変動空間における浅いネットワークの最適近似性能を同定すること。
• ReLU^kネットワークがその変動空間において、可能な限り最良の収束速度を達成することを示し、既存の結果の最適性を確認すること。

提案手法

• バナッハ空間における滑らかにパラメータ化された辞書の概念を導入し、辞書の要素が重みとバイアスの滑らかな関数によってパラメータ化されることを定義する。
• パラメータ化の滑らかさの次数に基づき、このような辞書の絶対凸包の近似速度、メトリックエントロピー、n-幅の上界を導出する。
• 上界フレームワークを、ReLU^kおよびシグモイド型活性化関数を備えた浅いニューラルネットワークから生じるリッジ関数辞書に適用する。
• 制御された $ L^2 $-距離を持つ関数のネットを構築し、幾何的測度論的議論を用いることで、メトリックエントロピーとn-幅の下界を新たに確立する。
• 下界技術を用いて、ReLU^kネットワークおよび有界変動をもつシグモイド型ネットワークに対して、近似速度 $ n^{-1/2 - 1/(2d)} $ が最適であることを証明する。
• ReLU^kネットワークの変動空間とパラメータ化された辞書の凸包との間の同値性を確立し、正確なエントロピーとn-幅の推定が可能になる。

実験結果

リサーチクエスチョン

• RQ1 ReLU^kおよびシグモイド型活性化関数を備えた浅いニューラルネットワークの近似速度について、鋭い上界と下界は何か？
• RQ2 浅いネットワークの変動空間のメトリックエントロピーとn-幅は、ネットワークの幅と次元にどのように依存するか？
• RQ3 $ L^2 $-ノルムにおいて、ReLU^kネットワークの近似速度 $ n^{-1/2 - 1/(2d)} $ が最適であることを証明できるか？
• RQ4 辞書のパラメータ化の滑らかさは、近似およびエントロピーの境界にどのように影響するか？
• RQ5 特に、有界でない関数（例：ReLU^k）に対して、境界は活性化関数の選択にどの程度依存するか？

主な発見

• 浅いReLU^kネットワークの $ L^2 $-近似速度は、上界と下界ともに $ O(n^{-1/2 - 1/(2d)}) $ で抑えられ、このレートの最適性が証明された。
• 有界変動をもつシグモイド型活性化関数に対しても、同じ近似速度 $ n^{-1/2 - 1/(2d)} $ が最適であることが示され、係数が $ \ell^\infty $ に有界であっても同様に成り立つ。
• 変動空間 $ B_1(\mathbb{P}_k^d) $ のメトリックエントロピーは $ \epsilon_n(B_1(\mathbb{P}_k^d)) \gtrsim n^{-1/2 - 1/(2d)} $ を満たし、上界と一致して、タイト性が確認された。
• 変動空間 $ B_1(\mathbb{P}_k^d) $ の $ n $-幅は、レート $ n^{-1/2 - 1/(2d)} $ で減少し、このクラスに対して可能な限り最良のレートである。
• 制御された $ L^2 $-距離を持つリッジ関数のネットを構築し、非ゼロ差の集合に対する測度論的議論を用いることで、鋭い下界が得られた。
• 結果は、有界変動をもつ一般のシグモイド関数に対しても拡張可能であり、有界変動を超える滑らかさの仮定が、近似速度の向上に寄与しないことが示された。