[論文レビュー] Barron Spaces and the Compositional Function Spaces for Neural Network Models.

E Weinan, Chao Ma+1 more|arXiv (Cornell University)|Jun 18, 2019

Stochastic Gradient Optimization Techniques参考文献 16被引用数 76

ひとこと要約

この論文は、2層ニューラルネットワークにおける最適な関数空間としてBarron空間を導入し、その中で最適な直接的および逆問題の近似定理を証明する。残差ネットワークに関しては、合成関数空間を定義し、同様の近似定理を確立するとともに、両空間におけるタイトなラデマッハ複雑度の上限を示す。

ABSTRACT

One of the key issues in the analysis of machine learning models is to identify the appropriate function space for the model. This is the space of functions that the particular machine learning model can approximate with good accuracy, endowed with a natural norm associated with the approximation process. In this paper, we address this issue for two representative neural network models: the two-layer networks and the residual neural networks. We define Barron space and show that it is the right space for two-layer neural network models in the sense that optimal direct and inverse approximation theorems hold for functions in the Barron space. For residual neural network models, we construct the so-called compositional function space, and prove direct and inverse approximation theorems for this space. In addition, we show that the Rademacher complexity has the optimal upper bounds for these spaces.

研究の動機と目的

• 2層ニューラルネットワークに最適な関数空間を特定し、その近似特性を最適化すること。
• 残差ニューラルネットワークの誘導的バイアスを反映するように調整された合成関数空間を定義すること。
• Barron空間および合成関数空間の両方に対して、直接的および逆問題の近似定理を確立すること。
• これらの関数空間において、ラデマッハ複雑度が最適な上界に達することを示すこと。
• 関数空間解析を用いて、深層学習モデルにおける一般化と近似の理論的基盤を提供すること。

提案手法

• 2層ニューラルネットワークが最適な近似レートを達成する関数空間としてBarron空間を定義する。
• Barron空間における直接的および逆問題の近似定理を確立し、この空間に属する関数が2層ネットワークによって効率的に近似可能であることを示す。
• 階層的関数合成に基づいて、残差ネットワークの構造を反映する合成関数空間を構築する。
• Barron空間におけるそれと同様の直接的および逆問題の近似定理を、合成関数空間において証明する。
• ラデマッハ複雑度を分析し、両関数空間における最適な上界を導出する。一般化と関数空間構造の関連を明示する。
• ノルムに基づく解析と近似理論を用いて、ネットワークの容量と関数空間の性質を結びつける。

実験結果

リサーチクエスチョン

• RQ1 2層ニューラルネットワークにおける最適な関数空間は何か。また、その近似特性はどのようなものか。
• RQ2 残差ニューラルネットワークの誘導的バイアスをモデル化する関数空間はどのように構築できるか。
• RQ3 提案された関数空間において、2種類のネットワークタイプの両方に対して直接的および逆問題の近似定理が成り立つかどうか。
• RQ4 これらの空間に属する関数におけるラデマッハ複雑度の最適な上限は何か。
• RQ5 これらの関数空間の性質は、ニューラルネットワークにおける一般化と近似精度とどのように関連するか。

主な発見

• Barron空間は2層ニューラルネットワークにおける最適な関数空間であり、この空間において直接的および逆問題の近似定理が成り立つ。
• 合成関数空間は、残差ニューラルネットワークのための自然な関数空間として導入され、同様の近似定理を支持する。
• Barron空間および合成関数空間の両方に対して、最適な上界がラデマッハ複雑度に確立された。
• Barron空間に属する関数の近似誤差は、2層ネットワークのパラメータ数に対して最適なレートで減少する。
• 合成関数空間は、残差ネットワークの階層的誘導的バイアスを捉えており、その表現力の理論的分析を可能にする。
• 理論的枠組みは、現代のニューラルネットワークアーキテクチャにおける一般化と近似の理解を統一的に提供する。