[論文レビュー] Uniform Approximation by Neural Networks Activated by First and Second Order Ridge Splines

Jason M. Klusowski, Andrew R. Barron|arXiv (Cornell University)|Jul 26, 2016

Model Reduction and Neural Networks参考文献 8被引用数 15

ひとこと要約

本稿は、内部および外部パラメータに $ \ell^1 $ および $ \ell^0 $ 約束を課した線形結合によるReLUおよび二乗ReLUリッジ関数を用いた多変数関数の近似について、$ L^\infty $ および $ L^2 $ の誤差バインディングを確立する。変形版のジョーンズ＝バロン確率的法を用いて、内部層の $ \ell^0 $ スパarsityに反比例する $ L^2 $ 誤差の減少を示し、外部層の $ \ell^0 $ スパarsityに関しては部分線形の依存関係を示す。スペクトル条件を満たす関数クラスにおいて、近似的に最適な近似が達成される。

ABSTRACT

We establish $ L^{\infty} $ and $ L^2 $ error bounds for functions of many variables that are approximated by linear combinations of ReLU (rectified linear unit) and squared ReLU ridge functions with $ \ell^1 $ and $ \ell^0 $ controls on their inner and outer parameters. With the squared ReLU ridge function, we show that the $ L^2 $ approximation error is inversely proportional to the inner layer $ \ell^0 $ sparsity and it need only be sublinear in the outer layer $ \ell^0 $ sparsity. Our constructions are obtained using a variant of the Jones-Barron probabilistic method, which can be interpreted as either stratified sampling with proportionate allocation or two-stage cluster sampling. We also provide companion error lower bounds that reveal near optimality of our constructions. Despite the sparsity assumptions, we showcase the richness and flexibility of these ridge combinations by defining a large family of functions, in terms of certain spectral conditions, that are particularly well approximated by them.

研究の動機と目的

• ReLUおよび二乗ReLUリッジ関数を用いた構造的スパarsity制約を課したニューラルネットワークの近似性能を分析すること。
• 内部および外部層のパラメータに $ \ell^1 $ および $ \ell^0 $ の制御を課した下で、$ L^\infty $ および $ L^2 $ のタイトな誤差バインディングを導出すること。
• 内部層の $ \ell^0 $ スパarsityに有利に依存し、外部層の $ \ell^0 $ スパarsityに関しては部分線形に依存する $ L^2 $ 誤差の依存関係を示すこと。
• 補足的な下界を用いて、提案された構成の近似的最適性を確立すること。
• スペクトル条件によって特徴づけられる広範な関数クラスが、これらのリッジ関数の組み合わせによって特に効率的に近似可能であることを同定すること。

提案手法

• スパarsityを制御する神経ネットワーク近似の構成フレームワークとして、ジョーンズ＝バロン確率的法を適応する。
• 構成を、割合配分または二段階クラスタリングサンプリングとして解釈し、関数空間の均一なカバーを保証する。
• パラメータを $ \ell^0 $ および $ \ell^1 $ ノルムで制約した、ReLUおよび二乗ReLUリッジ関数の線形結合を基底関数として使用する。
• ターゲット関数のスペクトル条件を適用し、効率的な近似が可能な関数クラスを特徴づける。
• 確率的構成を用いて関数クラスのカバー数を分析し、$ L^\infty $ および $ L^2 $ ノルムにおける誤差バインディングを導出する。
• 提案された構成の近似的最適性を示すために、近似誤差の下界を確立する。

実験結果

リサーチクエスチョン

• RQ1 内部および外部パラメータに $ \ell^0 $ および $ \ell^1 $ 約束を課した場合、ReLUおよび二乗ReLUリッジネットワークの $ L^\infty $ および $ L^2 $ 近似誤差にどのような影響を与えるか？
• RQ2 ジョーンズ＝バロン法を変形することで、スパarsity制約を課したリッジベースニューラルネットワーク近似に対してタイトな誤差バインディングを得られるか？
• RQ3 このようなネットワークにおける $ L^2 $ 誤差は、内部および外部層のスパarsityレベルにどのように依存するか？
• RQ4 どの種の多変数関数が、これらのリッジ関数の組み合わせによって特に良く近似可能か？
• RQ5 提案された構成は、この関数クラスの理論的近似誤差の限界にどの程度近いか？

主な発見

• 指定されたスペクトルクラスに属する関数の $ L^2 $ 近似誤差は、内部層パラメータの $ \ell^0 $ スパarsityに反比例する。
• 外部層の $ \ell^0 $ スパarsityに依存する $ L^2 $ 誤差は部分線形であり、外部層のスパarsityが増加しても利益が次第に減少することを示す。
• 補足的な下界により、提案された構成が近似的に最適であることが確認され、上界と対数要因を除いて一致する。
• この手法により、ストラティフィケーションまたはクラスタリングサンプリングとして解釈できる確率的サンプリングフレームワークを用いて、$ L^\infty $ および $ L^2 $ ノルムにおける一様近似が可能である。
• 特定のスペクトル条件を満たす関数の広い族が、リッジ関数の組み合わせによって効率的に近似可能であることが示された。
• 二乗ReLUリッジ関数の使用は、同じスパarsity制約下で、特に $ L^2 $ 近似において効率性を向上させる。