[논문 리뷰] Characterization of the Variation Spaces Corresponding to Shallow Neural Networks

Jonathan W. Siegel, Jinchao Xu|arXiv (Cornell University)|2021. 06. 28.

Model Reduction and Neural Networks참고 문헌 12인용 수 9

한 줄 요약

이 논문은 얕은 신경망 근사 이론에서 핵심적인 세 가지 함수 공간—Barron 공간, 스펙트럴 Barron 공간, Radon BV 공간—이 특정 신경망 사전의 볼록 코일을 통해 정의된 변동 공간과 동치임을 규명한다. 이들은 ReLU 기반 활성화 함수의 닫힌 대칭 볼록 코일로서 자연스럽게 유도되며, 함수 해석학과 Radon 변환 쌍대성에 기반한 통합 이론적 프레임워크를 제공함으로써 얕은 네트워크에서 일반화 및 근사 이론을 이해하는 데 기여한다.

ABSTRACT

We study the variation space corresponding to a dictionary of functions in $L^2(Ω)$ for a bounded domain $Ω\subset \mathbb{R}^d$. Specifically, we compare the variation space, which is defined in terms of a convex hull with related notions based on integral representations. This allows us to show that three important notions relating to the approximation theory of shallow neural networks, the Barron space, the spectral Barron space, and the Radon BV space, are actually variation spaces with respect to certain natural dictionaries.

연구 동기 및 목표

• 얕은 신경망 이론에서 두드러진 세 가지 근사 공간—Barron, 스펙트럴 Barron, Radon BV 공간—을 하나의 함수 해석학적 프레임워크 내에서 통합하고 특성화하기.
• 이 공간들이 ReLU 기반 함수 사전의 닫힌 대칭 볼록 코일을 통해 정의된 변동 공간과 동치임을 입증하기.
• 변동 노름이 함수의 적분 표현에서 서명 측도의 총변동과 대응됨을 보여주기.
• 정의된 노름 하에서 변동 공간이 바나흐 공간임을 증명하여 이론적 안정성 확보하기.
• 이 특성화가 근사 이론, 메트릭 엔트로피, n-폭과 같은 신경망 함수 공간 이론에 미치는 영향 탐색하기.

제안 방법

• Minkowski 함수를 사용하여 $ L^2(\bar{\rho}) $ 내의 사전의 닫힌 대칭 볼록 코일의 게이지로 변동 노름을 정의한다.
• ReLU-k 함수 $ \sigma_k(\omega \cdot x + b) $ (여기서 $ \omega \in S^{d-1} $, $ b \in [c_1, c_2] $)로 구성된 사전 $ \bb{P}_k $를 분석하고, 이와 Barron 및 Radon BV 공간을 연결한다.
• Radon 변환과 Plancherel 정리를 활용하여 확장된 함수의 $ L^2 $-노름을 측도의 총변동과 연결한다.
• Hahn-Banach 및 Riesz-Markov 정리를 적용하여 $ C_c^\infty $ 상의 유계 선형 함수해석을 Borel 측도로 확장하고, 변동 공간 내 단위 구의 닫힘을 증명한다.
• 쌍대성 및 확장 정리를 활용하여 변동 공간의 단위 구가 사전의 닫힌 볼록 코일과 일치함을 증명한다.
• 적분 표현을 통해 변동 노름이 함수를 나타내는 서명 측도의 총변동의 하한임을 증명한다.

실험 결과

연구 질문

• RQ1 Barron 공간, 스펙트럴 Barron 공간, Radon BV 공간은 신경망 사전의 볼록 코일을 통해 정의된 변동 공간과 동치인가?
• RQ2 얕은 네트워크의 변동 노름은 적분 표현에서 서명 측도의 총변동으로 특성화될 수 있는가?
• RQ3 변동 공간 $ \mathcal{K}(\bb{D}) $ 는 변동 노름 하에서 바나흐 공간인가?
• RQ4 변동 공간의 단위 구는 사전 $ \bb{P}_k $ 의 닫힌 대칭 볼록 코일과 일치하는가?
• RQ5 유계 도메인 상의 $ L^2 $ 함수에 대해 Fourier 변환과 Radon 변환 쌍대성을 활용하여 변동 공간을 특성화할 수 있는가?

주요 결과

• Barron 공간, 스펙트럴 Barron 공간, Radon BV 공간는 모두 ReLU-k 함수 사전 $ \bb{P}_k $ 에 대해 변동 공간 $ \mathcal{K}(\bb{D}) $ 와 동치이다.
• 변동 노름 $ \|f\|_{\bb{D}} $ 는 $ f(x) = \int_{\bb{F}_s} i_{\bb{F}_s \to L^2(\Omega)}(\xi) d\mu(\xi) + c $ 를 만족하는 서명 Borel 측도 $ \mu $ 의 총변동의 하한과 같다. 여기서 $ \bb{F}_s $ 는 복소 지수 함수의 사전이다.
• 변동 공간의 단위 구는 $ \overline{\text{conv}(\pm \bb{P}_k)} $ 와 동일하며, 이는 변동 공간이 사전의 닫힌 대칭 볼록 코일임을 증명한다.
• $ s=0 $ 인 경우, 단위 구 $ B_e(\Omega) $ 는 $ L^2(\Omega) $ 에서 닫혀 있으며 $ \overline{\text{conv}(\pm \bb{F}_0)} $ 와 일치한다. 이는 쌍대성 구조를 확인한다.
• 변동 공간 $ \mathcal{K}(\bb{D}) $ 는 $ \|\cdot\|_{\bb{D}} $-노름 하에서 바나흐 공간이며, 완비성과 이론적 안정성을 보장한다.
• 이 특성화는 $ |f|_{(k)} $-유형 준노름을 갖는 정규화된 학습 문제의 최소화자들이 유한 폭의 얕은 ReLU-k 네트워크임을 시사하며, 이는 표현 정리의 확인을 제공한다.