[論文レビュー] The Barron Space and the Flow-induced Function Spaces for Neural Network Models

E Weinan, Chao Ma+1 more|arXiv (Cornell University)|Jun 18, 2019

Model Reduction and Neural Networks参考文献 17被引用数 6

ひとこと要約

本稿では、2層ニューラルネットワークの最適関数空間としてのBarron空間と、残差ネットワークのためのフローモデル誘導関数空間を導入し、直接的および逆方向の近似定理と最適なRademacher複雑度の境界を確立する。これらの空間は、それぞれのモデルによって効率的に近似可能な関数を特徴づけ、近似誤差と推定誤差を制御するノルムを備えており、次元に依存しない誤差率と最適な一般化スケーリングを可能にする。

ABSTRACT

One of the key issues in the analysis of machine learning models is to identify the appropriate function space and norm for the model. This is the set of functions endowed with a quantity which can control the approximation and estimation errors by a particular machine learning model. In this paper, we address this issue for two representative neural network models: the two-layer networks and the residual neural networks. We define the Barron space and show that it is the right space for two-layer neural network models in the sense that optimal direct and inverse approximation theorems hold for functions in the Barron space. For residual neural network models, we construct the so-called flow-induced function space, and prove direct and inverse approximation theorems for this space. In addition, we show that the Rademacher complexity for bounded sets under these norms has the optimal upper bounds.

研究の動機と目的

• 2層および残差ニューラルネットワークモデルの近似誤差と推定誤差を制御する適切な関数空間とノルムを同定すること。
• 新たに定義された関数空間を用いて、これらのモデルに対する直接的および逆方向の近似定理を確立すること。
• これらの空間における有界集合のRademacher複雑度が最適な上界に達することを示し、最適な一般化誤差スケーリングを可能にすること。
• 関数空間の正則性と近似効率の関係を明示することで、ニューラルネットワークが次元の呪いをどのように克服するかを理論的に理解する基盤を提供すること。
• カーネル法（RKHS）とニューラルネットワークの類似性を拡張し、深層学習アーキテクチャのための類似関数空間を定義すること。

提案手法

• 重み空間の単位球面上の有界測度の積分変換として表現可能な関数の集合としてBarron空間を定義し、Barronノルムをその表現の複雑さを測る指標とする。
• 残差構造に基づく経路に基づくノルムを用いて、残差ネットワークのためのフローモデル誘導関数空間を構築し、ノルムを経路に沿った行列積によって定義する。
• Barron空間およびフローモデル誘導関数空間に属する関数が、ニューラルネットワークによって誤差 $ O(1/m) $ で近似可能であることを示す直接的近似定理を証明する。ここで $ m $ はニューロン数である。
• 近似誤差がこのようなレートで減少するならば、関数はそれぞれの関数空間に属する必要があることを示す逆方向の近似定理を確立する。
• これらの空間における有界集合のRademacher複雑度の最適上界を導出し、$ \operatorname{Rad}_{n}(\mathcal{F}^{Q}) \leq C_{0} \frac{Q}{\sqrt{n}} $ が成り立つことを示し、カーネル法の最適レートと一致することを示す。
• 離散的類似ノルム（例：重み付き経路ノルム）を用いて残差ネットワークを解析し、深さが増加するに従い近似が収束することを証明する。

実験結果

リサーチクエスチョン

• RQ1 2層ニューラルネットワークの近似特性を特徴づけるために最適な関数空間は何か？
• RQ2 残差ニューラルネットワークの近似誤差と推定誤差は、明確に定義された関数空間を用いてどのように制御できるか？
• RQ3 ニューラルネットワークの仮説空間のRademacher複雑度は最適に上界で抑えられるか？ そして、これは最適な一般化誤差スケーリングに繋がるか？
• RQ4 Barron空間およびフローモデル誘導関数空間は、高次元近似においてSobolev空間やRKHSといった古典的関数空間と比べてどのように異なるか？
• RQ5 カーネル法、2層ネットワーク、深層残差ネットワークの近似理論を関数空間ノルムを通じて統一する理論的枠組みは存在するか？

主な発見

• Barron空間は、2層ニューラルネットワークの最適関数空間であり、直接的および逆方向の近似定理を両方満たしており、関数が $ O(1/m) $ のレートで近似可能であることと、Barron空間に属するということが同値であることを保証する。
• 残差ネットワークのためのフローモデル誘導関数空間は、重み付き経路ノルムを用いて構築され、この空間に属する関数は誤差 $ O(1/m) $ で近似可能であり、ノルムが近似レートを制御する。
• 残差ネットワークの仮説空間のRademacher複雑度は $ 18Q\sqrt{\frac{2\log(2d)}{n}} $ で上界が与えられ、一般化誤差の最適な $ O(1/\sqrt{n}) $ スケーリングを達成する。
• カーネル法、2層ネットワーク、残差ネットワークのすべてのモデルにおいて、一般化誤差は $ O(1/m) + O(1/\sqrt{n}) $ でスケーリングされ、係数はそれぞれの関数空間におけるターゲット関数のノルムに依存する。
• Barron空間およびフローモデル誘導空間のノルムは標準的なノルムではなく、近似プロセスから自然に生じる汎関数であり、近似誤差と推定誤差の両方を制御する。
• 残差ネットワークの関数空間は2層ネットワークのそれよりも厳密に大きく、同じ関数に対してノルムが小さいため、深層学習モデルにおける分散低減効果が示唆される。