[論文レビュー] Representation formulas and pointwise properties for Barron functions

E Weinan, Stephan Wojtowytsch|arXiv (Cornell University)|Jun 10, 2020

Model Reduction and Neural Networks参考文献 29被引用数 24

ひとこと要約

この論文は、無限に広い2層ReLUニューラルネットワークによって表現可能な関数（Barron関数）の表現式と点ごとの性質を確立し、このような関数が有界で正の1次同次関数の部分に分解可能であることを示している。また、Barron空間を保存するのはアフィン $ C^1 $-微分同相写像のみであり、フラクタル的または曲がった特異集合を持つ関数（例：距離関数）は有限パスノルムで表現できないことが判明し、2層ネットワークの根本的な制限が明らかになった。

ABSTRACT

We study the natural function space for infinitely wide two-layer neural networks with ReLU activation (Barron space) and establish different representation formulae. In two cases, we describe the space explicitly up to isomorphism. Using a convenient representation, we study the pointwise properties of two-layer networks and show that functions whose singular set is fractal or curved (for example distance functions from smooth submanifolds) cannot be represented by infinitely wide two-layer networks with finite path-norm. We use this structure theorem to show that the only $C^1$-diffeomorphisms which Barron space are affine. Furthermore, we show that every Barron function can be decomposed as the sum of a bounded and a positively one-homogeneous function and that there exist Barron functions which decay rapidly at infinity and are globally Lebesgue-integrable. This result suggests that two-layer neural networks may be able to approximate a greater variety of functions than commonly believed.

研究の動機と目的

• 無限に広い2層ReLUニューラルネットワークによって表現可能な関数（Barron関数）の構造を特徴づけること。
• Barron関数の点ごとの性質や幾何的性質を明確にする表現式を確立すること。
• $ C^1 $-微分同相写像の中でBarron空間を保存するものを探り、ニューラルネットワークによる表現可能性の構造的制約を明らかにすること。
• フラクタル的または曲がった特異集合（例：滑らかな部分多様体への距離関数）を持つ関数が、2層ネットワークで有限パスノルムで表現可能かどうかを調査すること。
• すべてのBarron関数が有界関数と正の1次同次関数の和に分解可能であり、かつ無限遠で急速に減衰する可能性があることを示すこと。

提案手法

• フーリエ変換と重み付き $ L^1 $-ノルムを用いてBarron関数の表現式を導出し、$ \int_{\mathbb{R}^d} |\hat{f}(\xi)| (1 + |\xi|^2) \, d\xi < \infty $ を満たす $ C_f $-ノルムと関連付ける。
• 構造定理を用いてBarron関数の特異集合を分析し、$ C^1 $-微分同相写像の下で特異集合として現れるのはハイパーハイパーパラメータに限ることを示す。
• 分解結果を適用して、すべてのBarron関数が有界関数と正の1次同次関数の和であることを示す。
• パスノルム制約を分析し、フラクタル的または曲がった特異集合（例：滑らかな部分多様体への距離関数）を持つ関数が有限パスノルムで表現できないことを証明する。
• 滑らかさの技術と微分幾何学を用いて、非アフィン $ C^1 $-微分同相写像がBarron空間を保存しないことを示す。
• ReLU活性化関数が同次的かつ無限大に発散することを応用し、$ \sum |a_i| (|w_i| + |b_i|) \leq 4C_f r $ を含む係数の上限を導出し、パスノルムと関連付ける。

実験結果

リサーチクエスチョン

• RQ1 合成に関してBarron関数空間を保存するのはどの $ C^1 $-微分同相写像か？
• RQ2 フラクタル的または曲がった特異集合（例：滑らかな部分多様体への距離関数）を持つ関数は、2層ReLUネットワークで有限パスノルムで表現可能か？
• RQ3 Barron関数の点ごとの構造は何か？また、有界関数と正の1次同次関数といった単純な成分に分解可能か？
• RQ4 Barron関数は、複雑な特異集合を持つ関数をどの程度近似可能か？その表現可能性に課せられる幾何的制約は何か？
• RQ5 Barron関数は無限遠で急速に減衰し得るが、それでも全体としてLebesgue可積分であるか？

主な発見

• 合成に関してBarron空間を保存するのはアフィン $ C^1 $-微分同相写像に限る。非アフィン微分同相写像は保存しない。
• フラクタル的または曲がった特異集合（例：滑らかな部分多様体への距離関数）を持つ関数は、有限パスノルムを持つ2層ReLUネットワークでは表現できない。
• すべてのBarron関数は、有界関数と正の1次同次関数の和に分解可能である。
• 無限遠で急速に減衰し、かつ全体としてLebesgue可積分であるBarron関数が存在し、これは従来の予想を上回る表現能力を示している。
• 任意のBarron関数の特異集合は、ハイパーハイパーパラメータの有限個の和集合に限られる。これにより、曲線やフラクタルのような任意の低次元集合は除外される。
• Barron関数のクラスは局所的に保存されない。つまり、関数が領域の任意の近傍でBarron関数であっても、全体でBarron関数であるとは限らない。U字型の領域の例によって示された。