[논문 리뷰] Approximation of Smoothness Classes by Deep ReLU Networks

Mazen Ali, Anthony Nouy|arXiv (Cornell University)|2020. 07. 30.

Mathematical Approximation and Integration참고 문헌 24인용 수 5

한 줄 요약

이 논문은 임의의 차원에서 베소프 공간 $B^{\tau}_{q}(L^p)$ 내 함수에 대해 희박하게 연결된 깊이 있는 ReLU 및 RePU 신경망이 최적 또는 거의 최적의 근사율을 달성함을 증명한다. RePU 신경망은 $1/p = \alpha/d + 1/q$ 임베딩 임계선 상에서 최적의 근사율을 달성하는 반면, ReLU 신경망은 이 선 위에서 거의 최적의 근사율을 달성하며, 이를 위해 보간 이론을 사용하여 전체 부드러움 범위로 결과를 확장한다.

ABSTRACT

We consider approximation rates of sparsely connected deep rectified linear unit (ReLU) and rectified power unit (RePU) neural networks for functions in Besov spaces $B^\alpha_{q}(L^p)$ in arbitrary dimension $d$, on bounded or unbounded domains. We show that RePU networks with a fixed activation function attain optimal approximation rates for functions in the Besov space $B^\alpha_{ au}(L^ au)$ on the critical embedding line $1/ au=\alpha/d+1/p$ for arbitrary smoothness order $\alpha>0$. Moreover, we show that ReLU networks attain near to optimal rates for any Besov space strictly above the critical line. Using interpolation theory, this implies that the entire range of smoothness classes at or above the critical line is (near to) optimally approximated by deep ReLU/RePU networks.

연구 동기 및 목표

• 깊이 있는 ReLU 및 RePU 신경망의 부드러움 공간에서의 근사율을 분석하는 것.
• 깊이 있는 신경망이 베소프 공간 $B^\tau_q(L^p)$ 내 함수에 대해 최적의 근사율을 달성할 수 있는지 확인하는 것.
• ReLU 또는 RePU 신경망이 최적 또는 거의 최적의 수렴 속도를 달성하는 조건을 규명하는 것.
• 분석을 임의의 차원과 유한 및 무한 영역 모두로 확장하는 것.
• 보간 이론을 사용하여 전체 부드러움 클래스 범위에 걸쳐 결과를 통합하는 것.

제안 방법

• 분석은 함수 공간 내 근사 이론의 프레임워크 내에서 이루어지며, 주로 베소프 공간 $B^\tau_q(L^p)$ 에 초점을 맞춘다.
• 논문은 임베딩 임계선에서의 결과를 더 넓은 부드러움 클래스로 연결하기 위해 보간 이론을 사용한다.
• 고정된 활성화 함수를 가진 RePU 신경망의 임계선 $1/p = \alpha/d + 1/q$ 상에서의 근사율을 확립한다.
• ReLU 신경망의 경우, 임계선 위의 엄밀한 함수들에 대해 거의 최적의 근사율을 도출한다.
• 희박하게 연결된 깊이 있는 신경망을 고려하며, ReLU 및 RePU 활성화 단위를 사용한다.
• 신경망 아키텍처의 성질과 함수 공간 임베딩의 특성을 이용하여 이론적 상한을 유도한다.

실험 결과

연구 질문

• RQ1 깊이 있는 ReLU 및 RePU 신경망이 베소프 공간 $B^\tau_q(L^p)$ 내 함수에 대해 최적의 근사율을 달성할 수 있는가?
• RQ2 RePU 신경망은 임베딩 임계선 $1/p = \alpha/d + 1/q$ 상에서 어떤 근사 성능을 보이는가?
• RQ3 부드러움 척도에서 임계선 위의 함수들에 대해 ReLU 신경망은 얼마나 최적에 가까운가?
• RQ4 보간 이론을 사용하여 임계선에서의 근사 결과를 전체 부드러움 클래스 범위로 확장할 수 있는가?
• RQ5 이러한 근사율은 임의의 차원과 유한 및 무한 영역 모두에서 유지되는가?

주요 결과

• 고정된 활성화 함수를 가진 RePU 신경망은 임계선 $1/p = \alpha/d + 1/q$ 상에서 $B^\tau_q(L^p)$ 내 함수에 대해 최적의 근사율을 달성한다.
• ReLU 신경망은 임계선 위의 모든 함수에 대해 거의 최적의 근사율을 달성한다.
• 임계선 이상의 전체 부드러움 클래스 범위가 깊이 있는 ReLU 및 RePU 신경망에 의해 (거의) 최적으로 근사된다.
• 결과는 임의의 차원과 유한 및 무한 영역 모두에서 유효하다.
• 보간 이론을 사용하여 임계선에서의 최적성 결과를 전체 부드러움 클래스 범위로 확장한다.
• 근사율은 네트워크의 너비에 의존하지 않으며, 깊이와 부드러움 매개변수에만 의존한다.