[논문 리뷰] Optimal Approximation Rates for Deep ReLU Neural Networks on Sobolev and Besov Spaces

Jonathan W. Siegel|arXiv (Cornell University)|2022. 11. 25.

Mathematical Approximation and Integration인용 수 9

한 줄 요약

이 논문은 모든 $1 \leq p,q \leq \infty$ 및 $s > 0$ 에 대해 $L_p$ 노름에서 컴act 임베딩이 가능한 Sobolev 및 Besov 공간에서 깊이 있는 ReLU 신경망의 최적 근사율을 확립한다. 이는 희소 벡터 인코딩을 위한 새로운 비트 추출 기법과 $L_p$ 하한을 도출하기 위한 VC 차원 기반 방법을 사용한다. 깊이 있는 네트워크가 뛰어난 근사 효율성을 달성하지만, 이는 인코딩이 불가능한 파라미터를 필요로 한다고 보여준다.

ABSTRACT

Let $Ω= [0,1]^d$ be the unit cube in $\mathbb{R}^d$. We study the problem of how efficiently, in terms of the number of parameters, deep neural networks with the ReLU activation function can approximate functions in the Sobolev spaces $W^s(L_q(Ω))$ and Besov spaces $B^s_r(L_q(Ω))$, with error measured in the $L_p(Ω)$ norm. This problem is important when studying the application of neural networks in a variety of fields, including scientific computing and signal processing, and has previously been solved only when $p=q=\infty$. Our contribution is to provide a complete solution for all $1\leq p,q\leq \infty$ and $s > 0$ for which the corresponding Sobolev or Besov space compactly embeds into $L_p$. The key technical tool is a novel bit-extraction technique which gives an optimal encoding of sparse vectors. This enables us to obtain sharp upper bounds in the non-linear regime where $p > q$. We also provide a novel method for deriving $L_p$-approximation lower bounds based upon VC-dimension when $p < \infty$. Our results show that very deep ReLU networks significantly outperform classical methods of approximation in terms of the number of parameters, but that this comes at the cost of parameters which are not encodable.

연구 동기 및 목표

• Sobolev 및 Besov 공간의 함수에 대해 $L_p$-노름으로 측정된 오차에서 깊이 있는 ReLU 신경망의 최적 근사율을 결정하는 것.
• 컴act 임베딩이 가능한 $L_p$로의 공간에 대해 오랜 기간 동안 미해결이었던 문제를 해결하여 모든 $1 \leq p,q \leq \infty$ 및 $s > 0$ 에 대해 완전한 해답을 제공하는 것.
• 비선형 영역에서 $p > q$ 인 경우에 날카운 상한을 달성하기 위해 새로운 비트 추출 기법을 개발하여, 이는 희소 함수 표현에 최적의 파라미터 활용을 가능하게 한다.
• VC 차원을 활용하여 $p < \infty$ 인 경우 $L_p$-근사 하한을 유도하는 새로운 방법을 제안하는 것.
• 깊이 있는 네트워크에서 근사 효율성과 파라미터 인코딩 가능성 사이의 상호 상충 관계를 명확히 하는 것.

제안 방법

• 논문은 희소 벡터를 최적으로 인코딩하기 위해 새로운 비트 추출 기법을 도입하여, 비선형 영역($p > q$)에서 근사 오차의 날카운 상한을 가능하게 한다.
• 다항식의 부호 패턴 수에 관한 Warren의 정리를 적용하여 깊이 $L$층, $W$개의 뉴런을 가진 깊이 있는 ReLU 네트워크가 표현할 수 있는 함수의 수를 근사한다.
• VC 차원 기반 접근법을 사용하여 $p < \infty$ 인 경우 $L_p$-노름 근사 하한을 도출함으로써, 네트워크 용량을 분석하는 데 새로운 도구를 제공한다.
• 기존의 확장 정리들을 활용하여 단위 입방체 $[0,1]^d$ 에서의 결과를 더 일반적인 정규성 조건을 만족하는 영역으로 일반화한다.
• Besov, Sobolev 및 Lebesgue 공간 간의 보간 및 임베딩 결과를 사용하여 이론적 한계를 유도한다.
• 이론적으로 상한과 하한이 일치하는 근사율을 확립하여, 모든 파라미터 영역에서 최적성임을 증명한다.

실험 결과

연구 질문

• RQ1 모든 $1 \leq p,q \leq \infty$ 및 $s > 0$ 에 대해 Sobolev 및 Besov 공간의 함수에 대해 깊이 있는 ReLU 네트워크가 $L_p$-노름으로 달성할 수 있는 최적 근사율은 무엇인가요?
• RQ2 특히 희소 함수 표현에 대해 비선형 영역에서 $p > q$ 인 경우 날카운 상한을 어떻게 달성할 수 있나요?
• RQ3 새로운 비트 추출 기법을 사용하여 희소 벡터를 효율적으로 인코딩하고, 최적의 네트워크 파라미터 활용을 가능하게 할 수 있나요?
• RQ4 $p < \infty$ 인 경우 VC 차원이 깊이 있는 네트워크의 $L_p$-노름 근사 하한을 유도하는 데 어떤 역할을 하나요?
• RQ5 매우 깊은 ReLU 네트워크가 전통적인 근사 방법에 비해 파라미터 효율성 측면에서 얼마나 뛰어나며, 이에 따른 파라미터 인코딩 가능성 상실 비용은 무엇인가요?

주요 결과

• 논문은 컴팩트 임베딩이 가능한 $L_p$로의 공간에 대해 모든 $1 \leq p,q \leq \infty$ 및 $s > 0$ 에 대해 깊이 있는 ReLU 네트워크의 최적 근사율을 확립하여 오랜 기간 동안 미해결이었던 문제를 해결한다.
• 새로운 비트 추출 기법은 비선형 영역($p > q$)에서 날카운 상한을 가능하게 하여, 희소 함수 표현에 최적의 파라미터 효율성을 달성한다.
• 새로운 VC 차원 기반 방법은 $p < \infty$ 인 경우 날카운 $L_p$-노름 근사 하한을 제공하여 상한과 하한이 일치함을 보장한다.
• 매우 깊은 ReLU 네트워크는 파라미터 효율성 측면에서 전통적인 근사 방법을 크게 능가하지만, 이는 유한 정밀도로 인코딩이 불가능한 파라미터를 필요로 한다.
• 결과는 깊이 있는 네트워크의 근사 능력이 매우 비선형적이고 희소적인 구조를 효율적으로 표현할 수 있는 능력과 본질적으로 연관되어 있음을 보여준다.
• 분석 결과 깊이 있는 네트워크가 고려된 모든 함수 클래스와 노름에서 최적의 근사율을 달성함을 확인하였으며, 부드러움 $s$, 적분 가능성 $q$, 목표 노름 $p$ 에 대한 명시적인 의존성이 존재한다.