[論文レビュー] Characterization of the Variation Spaces Corresponding to Shallow Neural Networks

Jonathan W. Siegel, Jinchao Xu|arXiv (Cornell University)|Jun 28, 2021

Model Reduction and Neural Networks参考文献 12被引用数 9

ひとこと要約

本稿は、浅層ニューラルネットワーク近似における3つの主要な関数空間—Barron空間、スペクトルBarron空間、Radon BV空間—が、特定のニューラルネットワーク辞書の凸包を用いて定義される変動空間と等価であることを確立している。これらの空間がReLUベースの活性化関数の閉じた対称凸包として自然に生じることを証明し、関数解析とRadon変換の双対性を通じて、浅層ネットワークにおける一般化と近似の統一的理論的枠組みを提供する。

ABSTRACT

We study the variation space corresponding to a dictionary of functions in $L^2(Ω)$ for a bounded domain $Ω\subset \mathbb{R}^d$. Specifically, we compare the variation space, which is defined in terms of a convex hull with related notions based on integral representations. This allows us to show that three important notions relating to the approximation theory of shallow neural networks, the Barron space, the spectral Barron space, and the Radon BV space, are actually variation spaces with respect to certain natural dictionaries.

研究の動機と目的

• 浅層ニューラルネットワーク理論における3つの顕著な近似空間—Barron空間、スペクトルBarron空間、Radon BV空間—を、1つの関数解析的枠組みに統一的かつ特徴づけること。
• これらの空間がReLUベースの関数の辞書の閉じた対称凸包を用いて定義される変動空間と等価であることを確立すること。
• 変動ノルムが関数の積分表現における符号付き測度の全変動に一致することを示すこと。
• 定義されたノルムの下で変動空間がBanach空間であることを証明し、理論的安定性を保証すること。
• この特徴づけが近似理論、メトリックエントロピー、n-幅といったニューラルネットワーク関数空間における影響を検討すること。

提案手法

• Minkowski汎関数を用いて、$ L^2(\bar{\rho}) $ 内の辞書の閉じた対称凸包のゲージとして変動ノルムを定義する。
• ReLU-k関数 $ \sigma_k(\omega \cdot x + b) $（$ \omega \in S^{d-1} $, $ b \in [c_1, c_2] $）の辞書 $ \bb{P}_k $ を分析し、Barron空間およびRadon BV空間と関連付ける。
• Radon変換とPlancherelの定理を用いて、関数の拡張の$ L^2 $-ノルムと測度の全変動を結びつける。
• Hahn-Banach定理およびRiesz-Markov定理を適用し、$ C_c^\infty $ 上の有界線形汎関数をボレル測度に拡張することで、変動空間における単位球が閉じていることを証明する。
• 双対性および拡張定理を用いて、変動空間の単位球が辞書の閉じた凸包に等しいことを確立する。
• 積分表現を介して、変動ノルムが関数を表す符号付きBorel測度の全変動の下界に一致することを証明する。

実験結果

リサーチクエスチョン

• RQ1 Barron空間、スペクトルBarron空間、Radon BV空間は、ニューラルネットワーク辞書の凸包を用いて定義される変動空間と等価か？
• RQ2 浅層ネットワークの変動ノルムは、積分表現における符号付き測度の全変動として特徴づけられるか？
• RQ3 変動空間 $ \mathcal{K}(\bb{D}) $ は変動ノルムの下でBanach空間か？
• RQ4 変動空間の単位球は、辞書 $ \bb{P}_k $ の閉じた対称凸包に一致するか？
• RQ5 有界領域上の$ L^2 $関数に対して、Fourier変換とRadon変換の双対性を用いて変動空間を特徴づけられるか？

主な発見

• Barron空間、スペクトルBarron空間、Radon BV空間は、すべてReLU-k関数の辞書 $ \bb{P}_k $ に対する変動空間 $ \mathcal{K}(\bb{D}) $ と等価である。
• 変動ノルム $ \|f\|_{\bb{D}} $ は、$ f(x) = \int_{\bb{F}_s} i_{\bb{F}_s \to L^2(\Omega)}(\xi) d\mu(\xi) + c $ を満たす符号付きBorel測度 $ \mu $ の全変動の下界に等しい。ここで $ \bb{F}_s $ は複素指数関数の辞書である。
• 変動空間の単位球は $ \overline{\text{conv}(\pm \bb{P}_k)} $ に等しく、変動空間が辞書の閉じた対称凸包であることが証明された。
• $ s=0 $ の場合、単位球 $ B_e(\Omega) $ は $ L^2(\Omega) $ 内で閉じており、$ \overline{\text{conv}(\pm \bb{F}_0)} $ に等しい。これにより双対構造が確認された。
• 変動空間 $ \mathcal{K}(\bb{D}) $ は $ \|\cdot\|_{\bb{D}} $-ノルムの下でBanach空間であり、完備性と理論的安定性が保証された。
• この特徴づけは、$ |f|_{(k)} $-型半ノルムを用いた正則化学習問題の最小化子が、有限幅の浅層ReLU-kネットワークであることを示唆し、代表定理を確認した。