[논문 리뷰] On the Optimal Expressive Power of ReLU DNNs and Its Application in Approximation with Kolmogorov Superposition Theorem

Juncai He|arXiv (Cornell University)|2023. 08. 10.

Neural Networks and Applications인용 수 4

한 줄 요약

이 논문은 $L$개의 은닉층과 층당 $N$개의 뉴런을 가진 ReLU 딥 네ural 네트워크(DNN)가 $[0,1]$에서 연속 조각별 선형(CPwL) 함수를 $\mathcal{O}(N^2L)$개의 세그먼트로 정확히 표현할 수 있음을 입증하며, 이 구성이 파rameter 수 측면에서 최적임을 증명한다. 코모고로프 초월 정리(Kolmogorov Superposition Theorem)를 활용하여, $\mathcal{O}(P)$개의 파rameter를 가진 ReLU DNN을 사용할 경우 고차원 공간 내 연속 함수에 대해 $\mathcal{O}(P^{-1})$의 향상된 근사율을 달성한다.

ABSTRACT

This paper is devoted to studying the optimal expressive power of ReLU deep neural networks (DNNs) and its application in approximation via the Kolmogorov Superposition Theorem. We first constructively prove that any continuous piecewise linear functions on $[0,1]$, comprising $O(N^2L)$ segments, can be represented by ReLU DNNs with $L$ hidden layers and $N$ neurons per layer. Subsequently, we demonstrate that this construction is optimal regarding the parameter count of the DNNs, achieved through investigating the shattering capacity of ReLU DNNs. Moreover, by invoking the Kolmogorov Superposition Theorem, we achieve an enhanced approximation rate for ReLU DNNs of arbitrary width and depth when dealing with continuous functions in high-dimensional spaces.

연구 동기 및 목표

• ReLU DNN가 $L$개의 은닉층과 층당 $N$개의 뉴런을 가진 경우, $[0,1]$에서 $\mathcal{O}(N^2L)$개의 세그먼트를 가진 모든 CPwL 함수를 정확히 표현할 수 있는가를 규명하는 것.
• 이 표현 방식이 필요한 파rameter 수 측면에서 최적임을 증명하는 것.
• 코모고로프 초월 정리를 적용하여 고차원 공간 내 연속 함수에 대한 ReLU DNN의 근사율을 향상시키는 것.
• ReLU DNN의 표현 능력과 코모고로프 초월 정리(KST)를 통해 정의된 K-Lipschitz 연속 함수의 함수류 간의 연결 고리를 확립하는 것.

제안 방법

• 두 개의 은닉층과 층당 $\mathcal{O}(N)$개의 뉴런을 가진 대칭 ReLU DNN 아키텍처를 구성하여, $[0,1]$에서 $N^2$개의 세그먼트를 가진 CPwL 함수를 정확히 표현한다.
• 두층 대칭 설계를 일반화하여, 층당 $N$개의 뉴런을 가진 $L$층 네트워크로 깊이 $L$에 대한 일반화를 수행한다.
• ReLU DNN의 샤터링 능력을 분석하여 $\mathcal{O}(N^2L)$개의 세그먼트가 이러한 표현에 필요한 최소 파rameter 수임을 입증함으로써 최적성 확보.
• 다변량 연속 함수를 단변량 함수의 복합함수로 분해하기 위해 코모고로프 초월 정리를 적용하여 고차원 근사 가능성을 확보한다.
• K-내부 및 K-외부 함수를 ReLU DNN을 통해 근사하며, 연속성의 모듈러스와 리프시츠 연속성에 기반한 오차 한계를 유도한다.
• K-Lipschitz 클래스 $K_C$에 속하는 함수에 대해 총 파rameter 수 $P$를 기반으로 $\mathcal{O}(P^{-1})$의 근사 오차 한계를 도출한다.

실험 결과

연구 질문

• RQ1 ReLU DNN가 $L$개의 은닉층과 층당 $N$개의 뉴런을 가진 경우, $[0,1]$에서 $\mathcal{O}(N^2L)$개의 세그먼트를 가진 모든 CPwL 함수를 정확히 표현할 수 있는가?
• RQ2 이러한 CPwL 함수 표현에 대해 이 파rameter 수가 최적인가?
• RQ3 코모고로프 초월 정리를 활용하여 고차원 연속 함수에 대한 ReLU DNN의 근사율을 향상시킬 수 있는가?
• RQ4 임의의 깊이와 너비를 가진 ReLU DNN을 사용할 경우, $\mathcal{O}(P)$개의 파arameter를 가진 $K$-Lipschitz 클래스 $K_C$에 속하는 함수의 근사 오차율은 얼마인가?

주요 결과

• ReLU DNN가 $L$개의 은닉층과 층당 $N$개의 뉴런을 가진 경우, $[0,1]$에서 $\mathcal{O}(N^2L)$개의 세그먼트를 가진 모든 CPwL 함수를 정확히 표현할 수 있다.
• ReLU DNN의 샤터링 능력을 분석한 결과, 이 구성은 파arameter 수 측면에서 최적임이 입증된다.
• K-Lipschitz 클래스 $K_C$에 속하는 함수의 근사 오차는 $\mathcal{O}(P^{-1})$로 유계이며, 여기서 $P$는 총 파arameter 수이다.
• 오차 한계는 $(6d+3)\omega_g(C_d N^{-2}L^{-1})$로 유도되며, $C_d = d\log_{10}2$ 이므로 깊이 $L$과 너비 $N$에 명시적인 의존성을 보인다.
• 이전 연구에서 두 은닉층 네트워크의 경우 $\mathcal{O}(P^{-1/2})$였던 것과 비교해 더 빠른 근사율을 달성한다.
• 이 구성은 이전 연구에서 ReLU DNN 표현 능력에 대한 증명을 단순화시키며, 고차원 일반화 및 비트 추출 기반 근사화에 대한 길을 열어준다.