[논문 리뷰] Minimum Width for Universal Approximation

Sejun Park, Chulhee Yun외 2명|arXiv (Cornell University)|2020. 06. 16.

Complexity and Algorithms in Graphs참고 문헌 28인용 수 11

한 줄 요약

이 논문은 ReLU 신경망이 $L^p$ 함수를 보편적으로 근사하기 위해 필요한 정확한 최소 너비를 규명한다: $\max\{d_x+1, d_y\}$, 여기서 $d_x$는 입력 차원이고 $d_y$는 출력 차원이다. 저자들은 이 경계가 $L^p$ 근사에서 날카로운 상한임을 증명하며, ReLU만으로는 균일 근사에 대해 성립하지 않음을 보이고, 임계값(스텝) 활성화 함수를 추가하면 성립함을 보이며, 네트워크의 경로연결 성분과 특성 공간 내 고리 구조에 대한 위상수학적 및 기하학적 추론을 사용한다.

ABSTRACT

The universal approximation property of width-bounded networks has been studied as a dual of classical universal approximation results on depth-bounded networks. However, the critical width enabling the universal approximation has not been exactly characterized in terms of the input dimension $d_x$ and the output dimension $d_y$. In this work, we provide the first definitive result in this direction for networks using the ReLU activation functions: The minimum width required for the universal approximation of the $L^p$ functions is exactly $\max\{d_x+1,d_y\}$. We also prove that the same conclusion does not hold for the uniform approximation with ReLU, but does hold with an additional threshold activation function. Our proof technique can be also used to derive a tighter upper bound on the minimum width required for the universal approximation using networks with general activation functions.

연구 동기 및 목표

• ReLU 네트워크에 의한 보편적 근사에 필요한 정확한 최소 너비를 규명하는 오랜 동안 미해결된 문제를 해결하기 위해.
• $\max\{d_x+1, d_y\}$가 $L^p$ 공간에서 보편적 근사에 대해 날카로운 하한 및 상한이 되는지 확인하기 위해.
• 동일한 너비 기준이 균일 근사에 대해서도 성립하는지 조사하고, 그렇지 않다면 수정(예: 임계값 활성화 함수 추가)이 어떻게 날카로운 상한을 복원하는지 밝히기 위해.
• 특성 공간 내 경로연결 성분과 고리 교차점 등의 위상수학적 불변량을 기반으로 일반적인 증명 프레임워크를 개발하기 위해.

제안 방법

• 특성 공간 내 곡선 $\mathcal{V}$와 점 $x$에서 레이가 몇 번 교차하는지 셈수는 $\pi_{\mathcal{V}}(x)$의 고리 수를 사용하여 위상수학적 불변량을 구성한다.
• 네트워크 경로 $g_{\ell^*}([0,1])$을 정의하고, 구 $\mathcal{B}$와 경계 $\partial\mathcal{B}$와의 교차를 분석하여 근사 오차가 전파되는 핵심 영역을 분리한다.
• 네트워크의 특정 변환에 대한 불변성에서 유도된 $g_{\ell^*}(p) \in \partial\mathcal{B}$이면 $f(p) = g_{\ell^*}(p)$임을 이용해 경계 근처의 근사 행동을 제약한다.
• $\mathbb{R}^2 \setminus \mathcal{U}$ 내의 유계 경로연결 성분 개념을 적용하여, 이러한 성분 내 점들은 곡선 $\mathcal{U}$와 홀수 번 교차하는 레이로 도달할 수 없음을 보이며, 이는 위상수학적 장벽을 의미한다.
• 간단한 고리 $\mathcal{V}$를 $\mathcal{P}$와 $\mathcal{L}(z_1,z_2)$로 구성하여 고리 수 행동을 분석하고, 너비가 너무 작을 경우 모순을 유도한다.
• 임계값 활성화 함수를 추가하면, 더 강력한 위상수학적 제어를 가능하게 하여 균일 근사에 대해 $\max\{d_x+1, d_y\}$ 너비 기준이 복원됨을 증명한다.

실험 결과

연구 질문

• RQ1 ReLU 네트워크가 $\mathbb{R}^{d_x}$에서 $\mathbb{R}^{d_y}$로의 $L^p$ 함수를 보편적으로 근사하기 위해 필요한 정확한 최소 너비는 무엇인가?
• RQ2 균일 노름에서 $\max\{d_x+1, d_y\}$ 너비가 충분한가, 아니면 ReLU 네트워크만으로는 부족한가?
• RQ3 활성화 함수를 수정함으로써 균일 근사에 대해 $\max\{d_x+1, d_y\}$ 너비 기준을 복원할 수 있는가?
• RQ4 네트워크의 특성 공간 궤적의 어떤 위상수학적 또는 기하학적 성질이 최소 너비에서의 보편적 근사를 가능하게 하거나 금지하는가?

주요 결과

• ReLU 네트워크를 사용한 $L^p$ 함수의 보편적 근사를 위한 최소 너비는 정확히 $\max\{d_x+1, d_y\}$이다.
• 균일 근사에서는 ReLU만으로는 $\max\{d_x+1, d_y\}$ 너비 기준이 성립하지 않으며, $C([0,1], \mathbb{R}^2)$에 대한 반례로 이를 입증한다.
• 임계값(스텝) 활성화 함수를 추가하면 $\max\{d_x+1, d_y\}$ 기준이 복원되어 균일 근사에 대해 충분하고 필수적이다.
• 고리 수와 경로연결 성분을 기반으로 한 증명 기법은 일반적인 연속 비다항식 활성화 함수에 대해 상한 $\max\{d_x+2, d_y+1\}$을 제공한다.
• Lu 등(2017)이 확립한 $d_x+1$과 $d_x+4$ 사이의 경계 갭을 메우며, 진정한 최소값이 $\max\{d_x+1, d_y\}$임을 입증함으로써 오랫동안 미해결이었던 문헌의 격차를 해결한다.
• 결과는 날카로운 상한이다: 위상수학적 장벽 논증(레이 교차 및 유계 성분)을 통해 $L^p$ 함수의 보편적 근사를 달성하기 위해 더 작은 너비로는 불가능함을 보여준다.