[논문 리뷰] Representation formulas and pointwise properties for Barron functions

E Weinan, Stephan Wojtowytsch|arXiv (Cornell University)|2020. 06. 10.

Model Reduction and Neural Networks참고 문헌 29인용 수 24

한 줄 요약

이 논문은 무한히 넓은 두 층의 ReLU 신경망으로 표현 가능한 함수인 바론 함수의 표현 공식과 점별 성질을 수립한다. 이러한 함수는 유계이고 양의 일차 동차 성질을 가진 부분으로 분해될 수 있음을 보여주며, 바론 공간을 유지하는 것은 오직 애파인 $ C^1 $- diffeomorphism뿐임을 증명한다. 또한, 분수적 또는 곡선 형태의 특이 집합을 가진 함수(예: 거리 함수)는 유한한 경로 노름으로 표현될 수 없음을 밝혀내며, 이는 두 층 신경망의 본질적 한계를 드러낸다.

ABSTRACT

We study the natural function space for infinitely wide two-layer neural networks with ReLU activation (Barron space) and establish different representation formulae. In two cases, we describe the space explicitly up to isomorphism. Using a convenient representation, we study the pointwise properties of two-layer networks and show that functions whose singular set is fractal or curved (for example distance functions from smooth submanifolds) cannot be represented by infinitely wide two-layer networks with finite path-norm. We use this structure theorem to show that the only $C^1$-diffeomorphisms which Barron space are affine. Furthermore, we show that every Barron function can be decomposed as the sum of a bounded and a positively one-homogeneous function and that there exist Barron functions which decay rapidly at infinity and are globally Lebesgue-integrable. This result suggests that two-layer neural networks may be able to approximate a greater variety of functions than commonly believed.

연구 동기 및 목표

• 무한히 넓은 두 층의 ReLU 신경망으로 표현 가능한 함수(바론 함수)의 구조를 규명하는 것.
• 바론 함수의 점별 성질과 기하적 성질을 명확히 하는 표현 공식을 수립하는 것.
• 바론 공간을 유지하는 $ C^1 $-diffeomorphism을 특정하여, 신경망 표현 가능성에 대한 구조적 제약 조건을 밝혀내는 것.
• 분수적 또는 곡선 형태의 특이 집합을 가진 함수가 두 층 신경망에서 유한한 경로 노름으로 표현 가능한지 조사하는 것.
• 모든 바론 함수가 유계 함수와 양의 일차 동차 함수의 합으로 분해되며, 일부는 무한대에서 급격히 감쇠함을 보이는 것.

제안 방법

• 푸리에 변환과 가중치가 부여된 $ L^1 $-노름을 사용하여 바론 함수의 표현 공식을 유도하며, $ \int_{\mathbb{R}^d} |\hat{f}(\xi)| (1 + |\xi|^2) \, d\xi < \infty $ 를 통해 정의된 $ C_f $-노름과 연결한다.
• 구조 정리(Structure Theorem)를 활용해 바론 함수의 특이 집합을 분석하여, $ C^1 $-diffeomorphism 하에서 유일하게 초평면만이 특이 집합으로 나타날 수 있음을 보인다.
• 분해 결과를 적용하여 모든 바론 함수가 유계 함수와 양의 일차 동차 함수의 합임을 보여준다.
• 경로 노름 제약 조건을 분석하여, 분수적 또는 곡선 형태의 특이 집합을 가진 함수(예: 매끄러운 부분다양체의 거리 함수)는 유한한 경로 노름으로 표현될 수 없음을 증명한다.
• 부드러운 변환 기법(Mollification)과 미분기하학을 활용하여, 비애파인 $ C^1 $-diffeomorphism이 바론 공간을 유지하지 못함을 보인다.
• ReLU 활성화 함수가 동차이자 무한대에 도달할 수 있음을 활용하여, $ \sum |a_i| (|w_i| + |b_i|) \leq 4C_f r $ 와 같은 계수의 경계를 유도하며, 이는 경로 노름과 연결된다.

실험 결과

연구 질문

• RQ1 composition 하에서 바론 함수 공간을 유지하는 $ C^1 $-diffeomorphism은 무엇인가?
• RQ2 분수적 또는 곡선 형태의 특이 집합을 가진 함수(예: 매끄러운 부분다양체의 거리 함수)는 유한한 경로 노름을 가진 두 층 ReLU 신경망으로 표현 가능한가?
• RQ3 바론 함수의 점별 구조는 어떻게 되며, 유계 함수와 양의 일차 동차 함수와 같은 더 단순한 성분들로 분해될 수 있는가?
• RQ4 복잡한 특이 집합을 가진 함수를 바론 함수가 어느 정도 근사할 수 있으며, 그 표현 가능성에 대한 기하적 제약 조건은 무엇인가?
• RQ5 바론 함수는 무한대에서 급격히 감쇠할 수 있으며 여전히 전역적으로 르베그 적분 가능할 수 있는가?

주요 결과

• composition 하에서 바론 공간을 유지하는 것은 오직 애파인 $ C^1 $-diffeomorphism뿐이며, 비애파인 diffeomorphism은 그렇지 않다.
• 분수적 또는 곡선 형태의 특이 집합을 가진 함수—예를 들어 매끄러운 부분다양체의 거리 함수—는 유한한 경로 노름을 가진 두 층 ReLU 신경망으로 표현될 수 없다.
• 모든 바론 함수는 유계 함수와 양의 일차 동차 함수의 합으로 분해될 수 있다.
• 무한대에서 급격히 감쇠하고 전역적으로 르베그 적분 가능한 바론 함수가 존재하며, 이는 이전에 상정된 것보다 더 넓은 표현 능력을 지닌다는 것을 시사한다.
• 모든 바론 함수의 특이 집합은 초평면의 유한한 합집합이어야 하며, 곡선이나 분수적 집합과 같은 임의의 저차원 집합은 제외된다.
• 바론 함수의 클래스는 국소적으로 보존되지 않으며, 어떤 영역의 모든 근방에서 바론일 수 있어도 전체 영역에서 바론이 아닐 수 있다. 이는 U자형 도메인의 예를 통해 보여진다.