[論文レビュー] Approximation power of random neural networks

Bolton Bailey, Ziwei Ji+2 more|arXiv (Cornell University)|Jun 18, 2019

Neural Networks and Applications参考文献 28被引用数 8

ひとこと要約

本稿は、任意の重み分布をもつ無限幅ネットワーク、有限幅のサブサンプリング済みネットワーク、および補正付き有限幅ネットワークの3種類のランダムニューラルネットワークについて、完全に量子化された近似レートを確立している。任意の連続関数は、$ \|f\|_1 (d/\delta)^{\mathcal{O}(d)}$ の複雑さで近似可能であり、$ \delta$ は関数の連続性を反映し、複雑さは重みの大きさやネットワークの基数に依存する。

ABSTRACT

This paper investigates the approximation power of three types of random neural networks: (a) infinite width networks, with weights following an arbitrary distribution; (b) finite width networks obtained by subsampling the preceding infinite width networks; (c) finite width networks obtained by starting with standard Gaussian initialization, and then adding a vanishingly small correction to the weights. The primary result is a fully quantified bound on the rate of approximation of general general continuous functions: in all three cases, a function $f$ can be approximated with complexity $\|f\|_1 (d/δ)^{\mathcal{O}(d)}$, where $δ$ depends on continuity properties of $f$ and the complexity measure depends on the weight magnitudes and/or cardinalities. Along the way, a variety of ancillary results are developed: an exact construction of Gaussian densities with infinite width networks, an elementary stand-alone proof scheme for approximation via convolutions of radial basis functions, subsampling rates for infinite width networks, and depth separation for corrected networks.

研究の動機と目的

• 異なるアーキテクチャ的仮定の下でのランダムニューラルネットワークの近似能力を理解すること。
• 一般の連続関数がランダムネットワークによってどの程度のレートで近似可能かを定量化すること。
• 関数の連続性（$\delta$）および重みの性質に依存する複雑さの上限を確立すること。
• 無限幅設定における深さの分離およびサブサンプリング効果を調査すること。
• 径数基底関数の畳み込みによる近似のための自己完結的証明フレームワークを提供すること。

提案手法

• 任意の重み分布をもつ無限幅ランダムネットワークを分析し、近似境界を導出する。
• 無限幅ネットワークにサブサンプリングを適用して、近似誤差を制御可能な有限幅アーキテクチャを構築する。
• 標準的なガウス初期化をもつ有限幅ネットワークに微小な補正を導入し、より優れた近似性能を達成する。
• 径数基底関数を基盤とする畳み込みベースの近似技術を用いる。
• $\|f\|_1$、次元 $d$、連続性モジュラス $\delta$ に基づく複雑さの上限を導出し、指数部に $\mathcal{O}(d)$ を得る。
• ガウス密度の正確な構成を、技術的補題として無限幅ネットワークを用いて開発する。

実験結果

リサーチクエスチョン

• RQ1 任意の重み分布をもつ無限幅ランダムニューラルネットワークの連続関数に対する近似レートは何か？
• RQ2 無限幅ネットワークにサブサンプリングを適用すると、その近似能力および複雑さにどのような影響があるか？
• RQ3 標準的なガウス初期化をもつ有限幅ネットワークに微小な補正を加えることで、その近似性能を著しく向上させられるか？
• RQ4 径数基底関数の畳み込みは、ランダムネットワークの一般近似境界を確立するために果たす役割は何か？
• RQ5 補正付き有限幅ネットワークに深さの分離が現れるか、もしあるならばどのような条件下で現れるか？

主な発見

• 任意の連続関数 $f$ の近似誤差は、$\|f\|_1 (d/\delta)^{\mathcal{O}(d)}$ で有界であり、ここで $\delta$ は $f$ の連続性モジュラスを表す。
• 任意の重み分布をもつ無限幅ネットワークは、ガウス密度を正確に表現可能であり、解析のための重要な技術的ツールを提供する。
• 無限幅ネットワークにサブサンプリングを適用しても近似能力が保持され、精度を維持するための明示的なサブサンプリングレートが導出される。
• 標準的なガウス初期化と微小な補正を施した有限幅ネットワークは、優れた近似性能を示し、深さの分離効果を示す。
• 径数基底関数の畳み込みによる近似の自己完結的証明が、独立した貢献として開発された。
• 複雑さの上限は、$f$ の $L^1$ ノルムと次元 $d$ および連続性モジュラス $\delta$ の相互作用に依存し、指数部に $\mathcal{O}(d)$ が現れる。